Python爬虫-正则表达式补充

一.正则表达式
正则表达式（Regular Expression，简称Regex或RE）又称为正规表示法或常规表示法，常常用来检索、替换那些符合某个模式的文本，它首先设定好了一些特殊的字及字符组合，通过组合的“规则字符串”来对表达式进行过滤，从而获取或匹配我们想要的特定内容。它具有灵活、逻辑性和功能性非常的强，能迅速地通过表达式从字符串中找到所需信息的优点，但对于刚接触的人来说，比较晦涩难懂。

1.re模块
Python通过re模块提供对正则表达式的支持，使用正则表达式之前需要导入该库。

import re
其基本步骤是先将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得一个匹配（Match）实例，再使用Match实例获得所需信息。常用的函数是findall，原型如下：

findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags])
该函数表示搜索字符串string，以列表形式返回全部能匹配的子串。
其中参数re包括三个常见值：
(1)re.I(re.IGNORECASE)：忽略大小写（括号内是完整写法）
(2)re.M(re.MULTILINE)：允许多行模式
(3)re.S(re.DOTALL)：支持点任意匹配模式

Pattern 对象是一个编译好的正则表达式，通过 Pattern 提供的一系列方法可以对文本进行匹配查找。 Pattern 不能直接实例化，必须使用 re.compile() 进行构造。
2.complie方法
re正则表达式模块包括一些常用的操作函数，比如complie()函数。其原型如下：

compile(pattern[,flags] )
该函数根据包含正则表达式的字符串创建模式对象，返回一个pattern对象。参数flags是匹配模式，可以使用按位或“|”表示同时生效，也可以在正则表达式字符串中指定。Pattern对象是不能直接实例化的，只能通过compile方法得到。

简单举个实例，使用正则表达式获取字符串中的数字内容，如下所示：

import re
string=“A1.45，b5，6.45，8.82”
regex = re.compile(r"\d+.?\d*")
print regex.findall(string)
[‘1.45’, ‘5’, ‘6.45’, ‘8.82’]

3.match方法
match方法是从字符串的pos下标处起开始匹配pattern，如果pattern结束时已经匹配，则返回一个Match对象；如果匹配过程中pattern无法匹配，或者匹配未结束就已到达endpos，则返回None。该方法原型如下：

match(string[, pos[, endpos]]) | re.match(pattern, string[, flags])
参数string表示字符串；pos表示下标，pos和endpos的默认值分别为0和len(string)；参数flags用于编译pattern时指定匹配模式。

4.search方法
search方法用于查找字符串中可以匹配成功的子串。从字符串的pos下标处起尝试匹配pattern，如果pattern结束时仍可匹配，则返回一个Match对象；若无法匹配，则将pos加1后重新尝试匹配；直到pos=endpos时仍无法匹配则返回None。 函数原型如下：

search(string[, pos[, endpos]]) | re.search(pattern, string[, flags])
参数string表示字符串；pos表示下标，pos和endpos的默认值分别为0和len(string))；参数flags用于编译pattern时指定匹配模式。

5.group和groups方法
group([group1, …])方法用于获得一个或多个分组截获的字符串，当它指定多个参数时将以元组形式返回。groups([default])方法以元组形式返回全部分组截获的字符串，相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。