爬虫学习2. 正则表达式 re模块

正则表达式是虽字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符及这些特定组合，组成一个‘规则字符串’，这个字符串用来表达对字符串的一种过滤逻辑。

在线正则表达式测试：http://tool.oschina.net/regex/#

一.re.match:尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

re.match(pattern,string,flags=0)

1.最常规的匹配

2.泛匹配

3.获取匹配目标

4.贪婪匹配

结果：7

5.非贪婪匹配

结果：1234567

6.匹配模式（字符串中有换行的）

7.转义

8.总结：尽量使用泛匹配，使用括号得到匹配目标，尽量使用非贪婪模式，有换行符就用re.S

二.re.search:扫描整个字符串并返回第一个成功的匹配。

总结：为方便匹配，能用search就不用match

匹配演示：

三.re.findall：搜索字符串，以列表形式返回全部能匹配的子串。

 提取出所有的歌名：

四.re.sub字符串替换。替换字符串中每一个匹配的子串后返回替换后的字符串。

re.sub 字符串替换，（'传入正则表达式','传入要替换成的内容','原字符串'）

如果要替换的内容里包括原子符串本身，（在原字符串后面加如新的）

运行结果：

五.结合re.sub和re.findall，首先替换a标签，之后在 提取歌名

方法一：

、

方法二：strip可以去除换行

六.re.compile 将正则字符串编译成正则对象，以便于复用改匹配模式

七.综合实战练习

"""
爬取豆瓣图书：http://book.douban.com/
目标：爬取书的链接，书名，作者，时间
"""
import re
import requests
content = requests.get('http://book.douban.com/').text
# print(content)
pattern = re.compile('<li.*?cover.*?href="(.*?)".*?title="(.*?)"\
.*?.more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</li>',re.S)
results = re.findall(pattern,content)
print(results)
for result in results:
    url,name,author,date = result
    author = re.sub('\n')
    print(url,name,author,date)