【python爬虫】re正则表达式
一、正则表达式
正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则
我们抓取到的网页源代码本质上是一个超级长的字符串,想从里面提取内容,用正则无疑是最合适的方法。
正则的优缺点
正则的优点:速度快、效率高、准确性高
正则的缺点:上手难度对于新手来说非常不友好
正则的语法
使用元字符进行排列组合用来匹配字符串:在线测正则表达式https://tool.oschina.net/regex/(从开源中国中寻找),我们可以在这个页面中检验,我们所写的正则表达式是否正确,是否能获得我们想要的东西。
元字符:具有固定含义的特殊符号
常用元字符:(每一个默认只代表一个字符)
\. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配字符串的开始
$ 匹配字符出的结尾
\W 匹配非字母或数字或下划线
\D 匹配非数字
\S 匹配非空白符
a|b 匹配字符a或b
() 匹配括号内的表达式,也表示一个组
[...] 匹配字符数组中的字符
[^...] 匹配除了字符组中字符的所有字符
量词:控制前面的元字符出现的次数
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次
贪婪匹配和惰性匹配
.* 尽可能多的匹配字符
.*? 让*尽可能少的匹配字符
二、正则表达式小练
import re
##findall:匹配字符串中所有的符合正则的内容
lst = re.findall(r'\d+', '我的电话号码是:10086,我的QQ是:123456')
print(lst)
[‘10086’, ‘123456’]
##finditer:匹配字符串中所有的符合正则的内容[返回的是迭代器]
it = re.finditer(r'\d+', '我的电话号码是:10086,我的QQ是:123456')
for i in it:
print(i.group())
这里需要注意,finditer返回的是一个迭代器,里面的内容无法直接打印,必须通过一个for循环来输出
10086
123456
##search返回的是match独享的对象,找到一个结果就返回
s = re.search(r'\d+', '我的电话号码是:10086,我的QQ是:123456')
print(s.group())
10086
##match从头开始匹配
a = re.match(r'\d+', '10086,我的QQ是:123456')
print(a.group())
10086
##预加载正则表达式
obj = re.compile(r'\d+')
ret = obj.finditer('我的电话号码是:10086,我的QQ是:123456')
for i in ret:
print(i.group())
10086
123456
#正则匹配空格也需要注意
#(?<name>正则可以单独从正则匹配的内容中进一步提取内容)
b = """
<div class='jay'><span id='1'>达娃大</span></div>
<div class='jj'><span id='2'>而他</span></div>
<div class='jolin'><span id='3'>他问题</span></div>
<div class='syhr'><span id='4'>儿童</span></div>
<div class='dwad'><span id='5'>去问轻柔</span></div>
"""
jay = re.compile(r"<div class='(.*?)'><span id='(.*?)'>(.*?)</span></div>",re.S) #re.S表示匹配任意字符包括换行符
ddd = jay.finditer(b)
for i in ddd:
print(i.group(1),i.group(2),i.group(3))
jay 1 达娃大
jj 2 而他
jolin 3 他问题
syhr 4 儿童
dwad 5 去问轻柔
总结
以上就是re正则表达式的一些简单的内容介绍和re的一些基本语法,re使用环境非常广泛,但是不熟练的话很难掌握