Python3 网络爬虫（二） 正则表达式 re模块

Python3 网络爬虫（一） urllib模块

---

正则表达式能检查一个字符串与特定模式是否匹配。python3中re模块具有正则表达式的全部功能。

re模块函数

re.match(pattern,string,flags=0) 从字符串起始位置匹配模式
re.search(pattern,string,flags=0) 扫描整个字符串并返回第一个成功的匹配
re.finditer(pattern,string,flags=0) 匹配所有子串，并返回迭代器对象(for match in matchs)
成功返回匹配对象，可以使用group(num=0) groups()获取匹配表达式
re.sub(pattern, real, string, count=0) count是模式匹配最大次数，0表示替换所有
re.split(pattern,string[,maxsplit=0,flags=0]) 将字符串分割后返回列表
pattern=re.compile(patern[, flags])
pattern.match(string,[StartIndex=0,[EndIndex=len(string)]])
pattern.findall(string,[pos=0[,endpos=len(string)]]) 返回列表

• flags为匹配模式可选项：
  
  • re.I 忽略大小写
  • re.L 表示特殊字符集 \w, \W,\b, \B, \s, \S 依赖于当前环境
  • re.M 多行模式
  • re.S 即为’ . ‘并且包括换行符在内的任意字符（’ .’不包括换行符）
  • re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode字符属性数据库
  • re.X 为了增加可读性，忽略空格和’ # ‘后面的注释

注意：match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。findall是匹配所有。

例子：

import re
line = "//*o.cn/u/1234577524"
match1 = re.search(r'/u/([a-zA-Z0-9]*$)', line, re.I)
print (match1.group(1))

match2 = re.search(r'/u/(\w*$)', line, re.I)
print (match2.group(1))

match3_error = re.search("(\w*)", line)
print (match3_error.group())

line1 = "javascript:void(0);"
empty_match = re.search(r'/u/(\w*$)', line1, re.I)
print (empty_match)

line2 = "Cats are smarter than dogs";
searchObj = re.search( r'(\w*) are (\w*?) .*', line2, re.M|re.I)
print (searchObj.group())
print (searchObj.group(1))
print (searchObj.group(2))
try:
    print (searchObj.group(3))
except IndexError as ie:
    print ("IndexError:", ie)
# output >>
#    1234577524
#    1234577524
#    Cats are smarter than dogs
#    Cats
#    smarter
#    IndexError: no such group

正则表达式模式

模式 + 描述
^ 匹配字符串的开头
$ 匹配字符串的末尾。
. 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…] 用来表示一组字符,单独列出：[amk] 匹配 ‘a’，’m’或’k’
[^…] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re* 匹配0个或多个的表达式。
re+ 匹配1个或多个的表达式。
re? 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n} 匹配n个前面表达式。例如，”o{2}”不能匹配”Bob”中的”o”，但是能匹配”food”中的两个o。
re{ n,} 精确匹配n个前面表达式。例如，”o{2,}”不能匹配”Bob”中的”o”，但能匹配”foooood”中的所有o。”o{1,}”等价于”o+”。”o{0,}”则等价于”o*”。
re{ n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a
(re) G匹配括号内的表达式，也表示一个组
(?imx) 正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re) 类似 (…), 但是不表示一个组
(?imx: re) 在括号中使用i, m, 或 x 可选标志
(?-imx: re) 在括号中不使用i, m, 或 x 可选标志
(?#…) 注释.
(?= re) 前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re) 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功。
(?> re) 匹配的独立模式，省去回溯。
\w 匹配数字字母下划线
\W 匹配非数字字母下划线
\s 匹配任意空白字符，等价于 [\t\n\r\f]。
\S 匹配任意非空字符
\d 匹配任意数字，等价于 [0-9]。
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。
\z 匹配字符串结束
\G 匹配最后匹配完成的位置。
\b 匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配”never” 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B 匹配非单词边界。’er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等。 匹配一个换行符。匹配一个制表符, 等
\1…\9 匹配第n个分组的内容。
\10 匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。

Reference：
http://www.runoob.com/python3/python3-reg-expressions.html