python3.0爬虫正则表达式写法_python爬虫day-13（正则表达式）

个人学习笔记，方便自己查阅，仅供参考，欢迎交流

正则表达式

1.简单示例

开源中国提供的正则表达式测试网址：http://tool.oschina.net/regex/

正表达式匹配，就是用一定的规则将特定的文本提取出来。

对于URL，开头是协议类型，然后是冒号加双斜线，最后是域名加路径。

正则表达式：[a-zA-z]+://[^\s]*

a-z代表匹配任意的小写字母； \s表示匹配任意的空白字符；＊就代表匹配前面的字符任意多个。

Python的re库提供了整个正则表达式的实现，利用这个库，可以在Python 中使用正则表达式。正则表达式不是Python独有的，它也可以用在其他编程语言。

2.match()

match()方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配，就返回None。

match ()方法在使用时需要考虑到开头的内容，做匹配时并不方便,它更适合用来检测某个字符串是存符合某个正则表达式的规则。

在 match()方法中，第一个参数传入了正则表达式，第二个参数传入了要匹配的字符串。

import re

content = 'Hello 123 4567 World_This is a Regex Demo'

print(len(content))

result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}',content)

print(result)

print(result.group())

print(result.span())

输出结果：41

Hello 123 4567 World_This

(0, 25)

输出的结果是SRE_Match对象，证明成功匹配。该对象有两个方法：group()方法可以输出匹配到的内容，span()方法可以输出匹配的范围，结果是(0,25)，是匹配到的结果字符串在原字符串中的位置范围。

首先声明了一个字符串，其中包含英文字母、空白字符、数字等。

content = 'Hello 123 4567 World_This is a Regex Demo'

正则表达式：^Hello\s\d\d\d\s\d{4}\s\w{10}

^是匹配字符串的开头；＼s匹配空白字符；＼d匹配数字，＼w{10}匹配10个字母以下划线。

匹配目标

若想把字符串中的1234567提取出来，可以将数字部分的正则表达式用()括起来，然后调用了group(1)获取匹配结果。正则表达式后面还有()包括的内 容，那么可以依次用 group(2)，group(3)等来获取。

import re

content = 'Hello 1234567 World_This is a Regex Demo'

print(len(content))

result = re.match('^Hello\s(\d+)\sWorld',content)

#():匹配括号内的表达式，也表示一个组。

print(result)

print(result.group())

print(result.group(1))

print(result.span())

通用匹配

通用匹配符号，就是 .*(点星)，其中.(点)可以匹配任意字符(除换行符)，＊(星)代表匹配前面的字符无限次，所以组合在一起就可以匹配任意字符了。

import re

content = 'Hello 123 4567 World_This is a Regex Deno'

result = re.match('^Hello.*Deno$',content)

#$符号:匹配一行字符串的结尾

print(result)

print(result.group())

print(result.span())

输出结果：

Hello 123 4567 World_This is a Regex Deno

(0, 41)

贪婪与非贪婪

在贪婪匹配下，. *(点星)会匹配尽可能多的字符。非贪婪匹配：. *?(点星问号)，尽可能匹配少的字符 。

在做匹配的时候，字符串中间尽量使用非贪婪匹配，也就是用：. *?(点星问号)，来代替. *(点星)，以免出现匹配结果缺失的情况。

import re

content = 'Hello 1234567 World_This is a Regex Deno'

result = re.match('^He.*(\d+).*Deno$',content)

#.*:贪婪匹配

result1 = re.match('^He.*?(\d+).*Deno$',content)

#.*？:非贪婪匹配

print(result)

print(result.group(1))

print(result1)

print(result1.group(1))

输出结果：

7

1234567

需要注意，如果匹配的结果在字符串结尾，．＊？就有可能匹配不到任何内容了，因为它匹配尽可能少的字符。

import re

content = 'http:weibo.com/comment/kEraCN'

result1 = re.match('http.*?comment/(.*?)',content)

result2 = re.match('http.*?comment/(.*)',content)

print('result1',result1.group(1))

print('result2',result2.group(1))

输出结果：

result1

result2 kEraCN

修饰符

网页匹配中，较为常用修饰符的有 re.S 和re.I。

re.S:使.匹配包括换行符在内的所有字符。

re.I:使匹配对大小写不敏感。

import re

content = '''Hello 1234567 World_This

is a Regex Demo

'''

#result = re.match('^He.*?(\d+).*?Demo$',content)

#会报错

result1 = re.match('^He.*?(\d+).*?Demo$',content,re.S)

#re.S:使.匹配包括换行符在内的所有字符。

#print(result.group(1))

print(result1.group(1))

转义匹配

遇到用于正则匹配模式的特殊字符时，在前面加反斜线转义一下即可。

import re

content ='(百度)www.baidu.com'

result = re.match('\(百度\)www\.baidu\.com',content)

print(result)

3.search()

match()方法是从字符串的开头开始匹配的，一旦开头不匹配，那么整个匹配就失败。

search ()方法匹配时会扫描整个字符串，然后返回第一个成功匹配的结果。

import re

content = 'EXtra stings Hello 1234567 World This a regex Demo EXtra stings'

result = re.match('Hello.*?(\d+).*?Demo',content)

print(result)

result1 = re.search('Hello.*?(\d+).*?Demo',content)

print(result1)

输出结果：None

import re

html ='''

经典老歌

经典老歌列表

• 一路上有你

• 沧海一声笑

• 往事随风

• < href="/4.mp3 singer="beyond">光辉岁月
• < a href="/S.mp3 singer="陈慧琳">记事本

• href ="/6.mp3 singer ="邓丽君">但愿人长久

'''

result = re.search('

(.*?)',html,re.S)

result1 = re.search('

(.*?)',html,re.S)

result2 = re.search('

(.*?)',html)

print(result.group(1),result.group(2))

print(result1.group(1),result1.group(2))

print(result2.group(1),result2.group(2))

输出结果：

齐秦 往事随风

任贤齐 沧海一声笑

beyond 光辉岁月

4.findall()

search()方法可以返回匹配正则表达式的第一个内容。

findall()方法可以获取匹配正则表达式的所有内容。

import re

html ='''

经典老歌

经典老歌列表

• 一路上有你

• 沧海一声笑

• 往事随风

• < href="/4.mp3" singer="beyond">光辉岁月
• < a href="/5.mp3" singer="陈慧琳">记事本
• < href="/6.mp3" singer="邓丽君">但愿人长久

'''

results = re.findall('

(.*?)',html,re.S)

print(results)

print(type(results))

for result in results:

print(result)

print(result[0],result[1],result[2])

输出结果：

[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月 '), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]

('/2.mp3', '任贤齐', '沧海一声笑')

/2.mp3 任贤齐 沧海一声笑

('/3.mp3', '齐秦', '往事随风')

/3.mp3 齐秦 往事随风

('/4.mp3', 'beyond', '光辉岁月 ')

/4.mp3 beyond 光辉岁月

('/5.mp3', '陈慧琳', '记事本')

/5.mp3 陈慧琳 记事本

('/6.mp3', '邓丽君', '但愿人长久')

/6.mp3 邓丽君 但愿人长久

5.sub()

#把文本中的所有数字都去掉

import re

content = '54aKS4yrsoiRS4ixSL2g'

content = re.sub('\d+','',content)

#\d:匹配任意空白字符，等价于[0-9]

print(content)

获取li节点的歌名，findall写法：

import re

html ='''

经典老歌

经典老歌列表

• 一路上有你

• 沧海一声笑

• 往事随风

• < href="/4.mp3" singer="beyond">光辉岁月
• < a href="/5.mp3" singer="陈慧琳">记事本
• < href="/6.mp3" singer="邓丽君">但愿人长久

'''

results = re.findall('

\s*?()?(\w+)()?\s*?',html,re.S)

for result in results:

print(result[1])

输出结果：一路上有你

沧海一声笑

往事随风

记事本

但愿人长久

获取li节点的歌名，使用sub()写法：

import re

html ='''

经典老歌

经典老歌列表

• 一路上有你

• 沧海一声笑

• 往事随风

• 光辉岁月
• 记事本
• 但愿人长久

'''

html = re.sub('|','',html)

#print(html)

results = re.findall('

(.*?)',html,re.S)

for result in results:

print(result.strip())

6.compile()

compile()方法，可以将正则字符串编译成正则表达式对象，以便在后面的匹配中复用。

import re

content1 = '2016-12-15 12:00'

content2 = '2016-12-17 12:55'

content3 = '2016-12-22 13:21'

pattern = re.compile('\d{2}:\d{2}')

result1 = re.sub(pattern,'',content1)

result2 = re.sub(pattern,'',content2)

result3 = re.sub(pattern,'',content3)

print(result1,result2,result3)