Python爬虫必备知识之正则表达式

前言：

在学习如何爬获取数据并分析，其中数据获取部分用到RE正则表达式和XPath两种，二者均可实现对于HTML语言的解析，他们的区别在于，正则是字符串的匹配，而基于xpath的方法是把html文档先变成一棵树，然后根据xpath找到这个节点。

我们已经对这两种方式的实现原理有直观的了解，但具体是如何实现的我们慢慢道来，本篇文章先讲述爬虫过程中RE正则表达式的实现原理。

RE正则表达式

要了解爬虫过程中RE正则表达式的实现原理。首先要明白什么是RE正则表达式？

正则表达式（Re)，看这一篇就够了_re正则-CSDN博客

什么是正则表达式？

正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

正则表达式可以干什么?

快速高效的查找与分析字符串
进行有规律查找比对字符串，也叫：模式匹配
具有查找、比对、匹配、替换、插入、添加、删除等能力。
字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如我们编写爬虫收集数据，首先都得到网页源码，但是我们要如何提取有效数据呢，这时候我们就需要使用正则表达式来进行匹配了
 

RE爬虫大致过程及原理

在Python中需要通过正则表达式对字符串进⾏匹配的时候，可以使⽤⼀个python自带的模块，名字为re。

正则表达式的大致匹配过程是：
1.依次拿出表达式和文本中的字符比较，
2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。
3.如果表达式中有量词或边界，这个过程会稍微有一些不同。

这里就不得不提到什么是RE模块

什么是RE模块？

re模块
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。
由于Python的字符串本身也用\转义，所以要特别注意：

s = 'ABC\\-001' # Python的字符串
# 对应的正则表达式字符串变成：
# 'ABC\-001'

RE模块的使用：

准备知识
我们先来看看廖雪峰老师讲解的正则表达式：
正则表达式是用字符串表示的，所以，我们要首先了解如何用字符来描述字符。
在正则表达式中，如果直接给出字符，就是精确匹配。
使用特殊符号表示字符：用\d可以匹配一个数字，\w可以匹配一个字母或数字，例如：

'00\d'可以匹配’007’，但无法匹配’00A’；
'\d\d\d'可以匹配’010’；
'\w\w\d'可以匹配’py3’。
'.'可以匹配任意字符，所以：
'py.'可以匹配’pyc’、‘py3’、'py!'等等。
要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符。
来看一个复杂的例子：\d{3}\s+\d{3,8}。
我们来从左到右解读一下：

\d{3}表示匹配3个数字，例如’010’；
\s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配’ ‘，’ '等；
\d{3,8}表示3-8个数字，例如’1234567’。
综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。
如果要匹配’010-12345’这样的号码呢？由于'-'是特殊字符，在正则表达式中，要用'\'转义，所以，上面的正则是\d{3}\-\d{3,8}。
但是，仍然无法匹配’010 - 12345’，因为带有空格。所以我们需要更复杂的匹配方式。

进阶知识
要做更精确地匹配，可以用[]表示范围，比如：

[0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；
[0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如’a100’，‘0_Z’，'Py3000’等等；
[a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；
[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。
A|B可以匹配A或B，所以(P|p)ython可以匹配’Python’或者’python’。
^表示行的开头，^\d表示必须以数字开头。
$表示行的结束，\d$表示必须以数字结束。
py也可以匹配’python’，但是加上^py$就变成了整行匹配，就只能匹配’py’了。
————————————————

关于正则表达式，我今天就先学习到这里，这篇更像是我的学习记录。怎么说呢，有时候确实有点累，或者说有点懒。但从没想过放弃，还是坚持下吧。我这个笨鸟飞的不快不也得飞嘛。