Day31.爬虫基础之re

爬虫基础之re

---

---

前言

本文主要的内容是关于正则表达式的简单使用和案例展示。

---

一. re 基本操作

1.1 常见匹配模式

模式	描述
\w	匹配字母数字及下划线
\W	匹配非字母数字下划线
\s	匹配任意空白字符，等价于 [\t\n\r\f].
\S	匹配任意非空字符
\d	匹配任意数字，等价于 [0-9]
\D	匹配任意非数字
\A	匹配字符串开始
\Z	匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串
\z	匹配字符串结束
\G	匹配最后匹配完成的位置
\n	匹配一个换行符
\t	匹配一个制表符
^	匹配字符串的开头
$	匹配字符串的末尾。
.	匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…]	用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]	不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
*	匹配0个或多个的表达式。
+	匹配1个或多个的表达式。
?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
{n}	精确匹配n个前面表达式。
{n, m}	匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a|b	匹配a或b
( )	匹配括号内的表达式，也表示一个组

re.match:re.match(pattern, string, flags=0)
re.match() 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话,match() 就会返回None。

1.2 最常规的匹配

import re

content = "Hello 123 4567 World_This is a Regex Demo!"
print(len(content))

# ‘^’表示以什么开始，‘$’以什么结束。
# ‘\s’匹配任意空白字符，'\d'匹配数字，‘\w’匹配字母数字下划线‘｛n｝’表示匹配n次。
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo!$', content)
print(result)
print(result.group())
print(result.span())

1.3 范匹配

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello.*Demo$', content)
print(result)
print(result.group())
print(result.span())

这里我们发现‘.*’其实匹配所有的字符，所以内容就比较宽泛。

1.4 匹配目标

# ‘\s’匹配任意空白字符。
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld.*Demo$', content)
print(result)
print(result.group(1))
print(result.span())

在这里，小括号单独表示我们需要匹配的内容，即精确匹配，可单独拿出。

二. re 高级操作

2.1 贪婪匹配

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$', content)
print(result)
print(result.group(1))

# 我们看到，由于 “.*” 可以匹配任何的内容，而且是贪婪匹配，所以小括号仅匹配到一个 ‘7’ ，也就是最后一个数字。

2.2 非贪婪匹配

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)
print(result)
print(result.group(1))

这里我们看到，由于 ‘.?’ 比起前面的贪婪模式 ‘.’ 多了个 ‘?’.但是我们看匹配到的内容，显然，小括号匹配到了所有的数字。

所以总结来看就是：贪婪模式就是尽可能多的匹配到内容，非贪婪模式就是尽可能少的匹配到内容。

2.3 匹配模式

content = '''Hello 1234567 World_This
is a Regex Demo
'''

result = re.match('^He.*?(\d+).*?Demo$', content, re.S)
print(result.group(1))

这里 re.S 表示不考虑像换行符，空格之类的内容；而另外一种 re.I 表示不考虑匹配的字母大小写

2.4 转义操作

content = 'price is $5.00'
result = re.match('price is $5.00', content)
print(result)


content = 'price is $5.00'
result = re.match('price is \$5\.00', content)
print(result)

2.5 re.search()

re.search() 扫描整个字符串并返回第一个成功的匹配。

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)
print(result)


content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.search('Hello.*?(\d+).*?Demo', content)
print(result)
print(result.group(1))

对比一下 re.match() 与 re.search(),发现 re.match() 只要第一个字符匹配不上就不会匹配成功，但是 re.search() 会扫描整个字符串。

总结：为匹配方便，能用search就不用match

2.6 匹配练习

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''

result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)
print(result.group())
print(result.group(1), result.group(2))

# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)

print(result.group())
print(result.group(1), result.group(2))

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)
print(result.group())
print(result.group(1), result.group(2))

# 这里不同于上面一行的是，少了个 re.S 导致换行没法处理，所以只能匹配到一行的内容（前面几个都有换行符，导致匹配不成功）。

re.findall() 搜索字符串，一列表形式返回全部能匹配的字符串

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

results = re.findall('<li.*?href="(.*?)" singer="(.*?)">(.*?)</a>', html, re.S)
print(results)
print(type(results))
for result in results:
    print(result)
    print(result[0], result[1],result[2])

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
print(results)
for result in results:
    print(result[1])

re.sub() 替换字符串中每一个匹配的子串后返回替换后的字符串。

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 将字符串中的数字都转换成None，也就是删除了所有的数字
content = re.sub('\d+', '', content)
print(content)

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 将字符串中的所有数字转换成 Replacement
content = re.sub('\d+', 'Replacement', content)
print(content)

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content = re.sub('(\d+)', r'\1 8910', content)
print(content)

re.compile()
将正则字符串编译成正则表达式对象，以便于复用该匹配模式。

content = '''Hello 1234567 World_This
is a Regex Demo'''

pattern = re.compile("Hello.*Demo", re.S)
result = re.match(pattern, content)
print(result)

2.7 实战练习

import requests
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Mobile Safari/537.36"
}

content = requests.get('https://douban.com/book/top250', headers=headers).text
print(content)

pattern = re.compile('<tr class="item">.*?href="(.*?)" onclick.*?src="(.*?)" width.*?<a href="(.*?)" onclick.*?title="(.*?)">.*?p1">(.*?)</p>.*?rating_nums">(.*?)</span.*?p1">((.*?))<.*?inq">(.*?)<.*?</table>', re.S)
results = re.findall(pattern, content)
print(results)

---

总结

今天主要是学习了正则表达式re库的基本使用以及一些升级操作，还是需要不断的在实战的演练。有兴趣的小伙伴可以观看官方文档，进行深入了解。

溜了溜了，脑壳疼。Loading（31/100）。。。