正则表达式
正则表达式是处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然，对于爬虫来说，有了它，从HTML里提取想要的信息就非常方便了。
1.实例引入
打开开源中国提供的正则表达式工具http://tool.oschina.net/regex/,输入待匹配文本，然后选择常用的正则表达式，就可以得到相应的匹配结果。例如，这里输入的文本如下：
Hello,my phone is 010-86432100 and email is cqc@cuiqingcai.com,and my website is https://cuiqingcai.com.
这段字符串包含了一个电话号码和一个电子邮件，我们来试着提取一下
可以看到成功提取了URL。
对于URL来说，可用的正则表达式匹配：
[a-zA-Z]+://[^\s]*
这个正则表达式就可以去匹配类似URL的文本。它里面都有特定的语法规则。比如，a-z代表匹配任意小写字母，\s表示匹配任意的空白字符，*代表匹配前面的字符任意多个，这一长串的正则表达式就是这么多匹配规则的组合。常用的匹配规则如下：
其实正则表达式不是python独有的，它也可以用在其他语言中。但是python的re库提供了整个正则表达式的实现，利用这个库，可以在python中使用正则表达式。在python中写正则表达式几乎都用这个库，下面就来了解它的一些常用方法
2.match（）
第一个匹配方法match（），向它传入要匹配的字符串以及正则表达式，就可以检测这个正则表达式是否匹配字符串。match（）方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配就返回None。示例：
import re
content = 'Hello 123 4567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}',content)
print(result)
print(result.group())
print(result.span())
运行结果：
41
<_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'>
Hello 123 4567 World_This
(0, 25)
这里首先声明了一个字符串，其中包括英文字母、空白字符、数字等。我们写的正则表达式为；
^Hello\s\d\d\d\s\d{4}\s\w{10}
开头的^是匹配字符串的开头，也就是以Hello开头；然后\s匹配空白字符；\d匹配数字，三个匹配123；然后1个\s匹配空格；后面4567用4个\d匹配，可以写成{4}代表以前面的规则匹配4次；然后紧跟一个空白字符，最后\w{10}匹配10个字母以及下划线。我们注意到，这里其实没有匹配完，不过可以进行，只不过结果短一点。
在match（）方法中，第一个参数传入了正则表达式，第二个参数传入了要匹配的字符串。
结果中可以看到SRE_Match对象，这证明匹配成功。该对象有两个方法：group（）方法可以输出匹配到的内容，结果是Hello 123 456 World_This，这就是匹配到的内容；span（）方法可以输出匹配的范围，结果是（0，25），这就是匹配到的结果字符串在源字符串中的位置范围。
匹配目标
如果想从字符串中提取一部分内容，该怎么办？这里可以使用（）括号将提取的子字符串括起来。（）实际上标记了一个子表达式的开始和结束位置，被标记的子表达式会依次对应每一个分组，调用group（）方法传入分组的索引即可获得提取的结果。示例：
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld',content)
print(result)
print(result.group())
print(result.group(1))
print(result.span())
运行结果
<_sre.SRE_Match object; span=(0, 19), match='Hello 1234567 World'>
Hello 1234567 World
1234567
(0, 19)
通用匹配
刚才所写的正则表达式比较复杂，出现空白就写\s，出现数字就写\d,这样的工作量非常大。我们可以用万能匹配，那就是.*（点星）。其中.（点）代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意字符串了。
示例：
import re
content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello.*Demo$',content)
print(result)
print(result.group())
print(result.span())
输出结果
<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>
Hello 123 4567 World_This is a Regex Demo
(0, 41)
贪婪与非贪婪
使用.*时，可能匹配到并不是我们想要的结果。例如：
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$',content) # result = re.match('^He.*?(\d+).*Demo$',content)
print(result)
print(result.group(1))
输出
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
7
我们想获取数字，所以中间依然写（\d+）,两边用.*匹配。但是只得到了7，这是为什么呢？
这里就涉及到了贪婪匹配与非贪婪匹配的问题了。在贪婪匹配下， .*会匹配尽可能多的字符。正则表达式中 .*后面是\d+,也计时至少一个数字，并没有具体制定，因此，.*就尽可能匹配多的字符，这里就把123456匹配，只留下了一个7，最后得到的内容就只有7.
解决这种问题，只需要使用非贪婪匹配就好了。即.*?多写了一个问号。
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$',content) # result = re.match('^He.*(\d+).*Demo$',content)
print(result)
print(result.group(1))
输出：
<_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
1234567
所以，在做匹配的时候，字符串中间尽量使用非贪婪匹配，也就是用.*?来代替.*,以免出现匹配结果缺失的情况。但是，如果匹配的结果在字符串结尾，.*?就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符。例如：
import re
content = 'http://weibo.com/comment/kEraCN'
result1 = re.match('http.*?comment/(.*?)',content)
result2 = re.match('http.*?comment/(.*)',content)
print('result1',result1.group(1))
print('result2',result2.group(1))
运行结果：
result1
result2 kEraCN
可以观察到,.*?没有匹配到任何结果，而.*则尽量匹配多的内容，成功得到了匹配结果。
修饰符
正则表达式可以包含一些可选标志修饰符来控制匹配的模式。
示例：
import re
content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$',content)
print(result.group(1))
和上面例子一样，区别在于加了换行，运行结果如下
Traceback (most recent call last):
File "D:/python/Spider/RegularExpression.py", line 55, in <module>
print(result.group(1))
AttributeError: 'NoneType' object has no attribute 'group'
运行报错，也即是说没有匹配到字符串，结果为None，我们又调用方法导致异常。
这里错误的原因是因为.匹配的是除换行符之外的任意字符，遇到换行符.*?就不能匹配了。这里需要加一个修饰符re.S，就可以改正了：
result = re.match('^He.*?(\d+).*?Demo$',content,re.S)
运行结果：
1234567
这个re.S在网页匹配中经常用到。因为HTML节点经常会有换行，加上它，就可以匹配节点与节点之间的换行。
另外，这里还有一些修饰符。
转义匹配
我们知道正则表达式定义了许多匹配模式，如.匹配任意字符，但是如果目标字符就包含.该怎么办呢？
示例：
import re
content = '(百度)www.baidu.com'
result = re.match('\(百度\)www\.baidu\.com',content)
print(result)
输出：
<_sre.SRE_Match object; span=(0, 17), match='(百度)www.baidu.com'>
3.search()
前面提到，match（）方法是从字符串的开头开始匹配的，这在匹配时并不方便。它更适合用来检测某个字符串是否符合某个正则表达式的规则。
这里就有另一个方法search（），它在匹配时会扫描整个字符串，然后返回第一个匹配成功的结果。
示例：
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.search('Hello.*?(\d+).*?Demo',content)
print(result)
输出：
<_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>
我们通过实例来看看search（）的用法。
首先，这一有一段待匹配的HTML文本，接下来写几个正则表达式来实现相应信息的提取：
html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view="5">
<a href="/6.mp3" singer="邓丽君">但愿人长久</a>
</li>
</ul>
</div>'''
可以观察到，ul节点里有许多li节点，其中li节点中有的包含a节点，有的不包含a节点，a节点还有一些相应的属性——超链接和歌手名。
我们来尝试提取class为active的li节点内部的超链接包含的歌手名和歌名，此时需要提取第三个li节点下a节点的singer属性和文本。
此时正则表达式可以以li开头，然后寻找一个标志符active，中间用.*?来匹配。接下来，要提取singer这个属性，所以还需要写入singer="(.*?)",这里需要提取的部分用小括号括起来，以便用group（）方法提取出来，它的两侧边界是双引号。然后还需要匹配a节点的文本，其中它的左边界是>,右边界</a>。然后目标内容依然用.*?来匹配，所以最后的正则表达式就变成：
<li..*?active.*?singer="(.*?)">(.*?)</a>
然后再调用search（）方法，它会搜索整个HTML文本，找到符合正则表达式的第一个内容返回。另外，由于代码有换行，所以这里第三个参数需要传入re.S。整个代码如下：
import re
reslut = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>',html,re.S)
if reslut:
print(reslut.group(1),reslut.group(2))
运行结果
齐秦 往事随风
如果不加active，会怎样
import re
reslut = re.search('<li.*?.*?singer="(.*?)">(.*?)</a>',html,re.S)
if reslut:
print(reslut.group(1),reslut.group(2))
输出
任贤齐 沧海一声笑
把active去掉后，匹配到了第二个li节点。前面两次匹配都加了re.S，这使得可以换行，如果去掉会怎样
import re
reslut = re.search('<li.*?.*?singer="(.*?)">(.*?)</a>',html)
if reslut:
print(reslut.group(1),reslut.group(2))
输出
beyond 光辉岁月
4.findall()
如果想要获取匹配正则表达式的所有内容，该怎么做呢?这时就要借助findall（）方法了。该方法会搜索整个字符串，然后返回匹配正则表达式的所有内容。返回结果为列表类型，需要遍历来依次获取每组内容。
import re
resluts = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',html,re.S)
print(resluts)
print(type(resluts))
for reslut in resluts:
print(reslut)
print(reslut[0],reslut[1],reslut[2])
输出结果
[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]
<class 'list'>
('/2.mp3', '任贤齐', '沧海一声笑')
/2.mp3 任贤齐 沧海一声笑
('/3.mp3', '齐秦', '往事随风')
/3.mp3 齐秦 往事随风
('/4.mp3', 'beyond', '光辉岁月')
/4.mp3 beyond 光辉岁月
('/5.mp3', '陈慧琳', '记事本')
/5.mp3 陈慧琳 记事本
('/6.mp3', '邓丽君', '但愿人长久')
/6.mp3 邓丽君 但愿人长久
可以看到，返回的列表中的每个元素都是元组类型。我们用对应的索引依次取出即可。
5.sub（）
除了提取之外，有时也可以用正则表达式来修改文本。比如，想要把衣一串文本中的所有数字都去掉，如果只使用字符串的replace（）方法，那就太麻烦了，这时可以借助sub（）方法。
示例：
import re
content = '54aK54yr5oiR54ix5L2g'
content = re.sub('\d+','',content)
print(content)
输出
aKyroiRixLg
这里只需要给第一个参数传入\d+来匹配所有的数字，第二个参数为替换成的字符，第三个是原字符串。
在上面的例子中，如果要获取所有li节点的歌名，直接用正则表达式来提取可能比较繁琐。可以写成这样：
results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>',html,re.S)
for result in results:
print(result[1])
输出：
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
此时借助sub（）方法就比较简单了。可以先用sub（）方法将a节点去掉，只留下文本，然后再利用findall（）提取就好了：
html = re.sub('<a.*?>|</a>','',html)
print(html)
results = re.findall('<li.*?>(.*?)</li>',html,re.S)
for reslut in results:
print(reslut.strip())
输出：
<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
沧海一声笑
</li>
<li data-view="4" class="active">
往事随风
</li>
<li data-view="6">光辉岁月</li>
<li data-view="5">记事本</li>
<li data-view="5">
但愿人长久
</li>
</ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
可以看到，a节点经过sub（）方法处理后就没有了，然后再通过findall（）方法直接提取即可。可以看到，在适当的时候，借助sub（）方法可以起到事半功倍的效果
6.compile（）
前面所讲的方法都是用来处理字符串的方法，最后再介绍一下compile（）方法，这个方法可以将正则表达式编译成正则表达式对象，以便在后面的匹配中复用。
例如：
import re
content1 = '2016-12-15 12:00'
content2 = '2016-12-17 12:55'
content3 = '2016-12-22 13:21'
pattern = re.compile('\d{2}:\d{2}')
result1 = re.sub(pattern,'',content1)
result2 = re.sub(pattern,'',content2)
result3 = re.sub(pattern,'',content3)
print(result1,result2,result3)
例如，这里有3个日期，我们想分别将3个日期中的时间去掉，可以借助sub（）方法。但是没必要写三个表达式，此时可以借助compile（）方法将其编译成对象，以便复用。
运行结果：
2016-12-15 2016-12-17 2016-12-22
另外，compile（）还可以传入修饰符，例如re.S等修饰符，这样在search（）、findall（）等方法中就不需要额外传了。所以，compile（）方法可以说是给正则表达式做了一层封装，以便更好的复用。
4965
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
