正则表达式和re模块:
一个段子:
有这么一个段子:世界是分为两种人,一种是懂正则表达式的,一种是不懂正则表达式的。
什么是正则表达式:
通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是正则表达式。
百度百科答案:https://baike.baidu.com/item/正则表达式/1700215?fr=aladdin
re模块中常用函数:
在python中,内置re模块用于支持正则表达式。
match:
从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下:
text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h
如果第一个字母不是h
,那么就会失败。示例代码如下:
text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
如果想要匹配换行的数据,那么就要传入一个flag=re.DOTALL
,就可以匹配换行符了。示例代码如下:
text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())
search:
在字符串中找满足条件的字符。如果找到,就返回。说白了,就是只会找到第一个满足条件的。
text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99
分组:
在正则表达式中,可以对过滤到的字符串进行分组。分组使用圆括号的方式。
group
:和group(0)
是等价的,返回的是整个满足条件的字符串。groups
:返回的是里面的子组。索引从1开始。group(1)
:返回的是第一个子组,可以传入多个。
示例代码如下:
text = "apple's price $99,orange's price is $10"
ret = re.search('.*(\$\d+).*(\$\d+)',text)
print(ret.group()) # 返回匹配的整个字符串
print(ret.groups()) # 返回圆括号括起来的内容--即分组
print(ret.group(1)) # 返回分组元组中的第一个组
print(ret.group(2)) # 返回分组元组中的第一个组
print(ret.group(0)) # 等价group()
print(ret.group(1,2)) # 获取第一个和第二个组
>>apple's price $99,orange's price is $10
>>('$99', '$10')
>>$99
>>$10
>>apple's price $99,orange's price is $10
>>('$99', '$10')
findall:
找出所有满足条件的,返回的是一个列表。
text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']
sub:
用来替换字符串。将匹配到的字符串替换为其他字符串。
text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0
sub
函数的案例,获取拉勾网中的数据:
html = """
<html>
<head>
</head>
<body>
<dd class="job_bt">
<h3 class="description">
职位描述:
</h3>
<div class="job-detail">
<p>
工作职责:
<br />
主导部门运营系统的需求分析、系统设计、开发等工作;
<br />
工作要求:
<br />
1. 5年相关工作经验,本科及以上学历;
<br />
2. 精通Python,掌握常用的Python开发框架;
<br />
3. 熟悉linux,了解linux常用命令及工具;
<br />
4. 熟悉MySQL,熟悉掌握数据库优化、数据结构设计等;
<br />
5. 熟悉Redis/Memcache 等缓存中间件者优先考虑;
<br />
6. 熟练掌握OOP编程和常见设计模式,有良好的编程习惯,对代码质量有**的追求;
<br />
7. 掌握流行的Web开发流程及框架;
<br />
8. 有强烈的上进心和求知欲,善于学习新事物,具有良好的沟通表达能力和逻辑抽象能力;
</p>
</div>
</dd>
</body>
</html>
"""
# 提取出该html中的所有文字信息,可以考虑将所有标签和 标记替换为空字符串
ret = re.sub(r'<.+?>| ',"",html)
print(ret)
split:
使用正则表达式来分割字符串。
text = 'hello%world*ni$hao'
ret = re.split('[^a-zA-Z]',text) #按照所有不是英文字符的字符作为分隔符
print(ret)
>> ["hello","world","ni","hao"]
compile:
对于一些经常要用到的正则表达式,可以使用compile
进行编译,后期再使用的时候可以直接拿过来用,执行效率会更快。而且compile
还可以指定flag=re.VERBOSE
,在写正则表达式的时候可以做好注释。示例代码如下:
text = "the number is 20.50"
r = re.compile(r"""
\d+ # 小数点前面的数字
\.? # 小数点
\d* # 小数点后面的数字
""",re.VERBOSE)
ret = re.search(r,text)
print(ret.group())
正则表达式常用匹配规则:
匹配某个字符串:
text = 'hello'
ret = re.match('he',text)
print(ret.group()) # group()函数可以把匹配到的字符串返回
>> he
以上便可以在hello
中,匹配出he
。
点(.)匹配任意的字符:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a
但是点(.)不能匹配不到换行符。示例代码如下:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
\d匹配任意的数字:
text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1
\D匹配任意的非数字:
text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a
而如果text是等于一个数字,那么就匹配不成功了。示例代码如下:
text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
\s匹配的是空白字符(包括:\n,\t,\r和空格):
text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白
\w匹配的是a-z
和A-Z
以及数字和下划线:
text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _
而如果要匹配一个其他的字符,那么就匹配不到。示例代码如下:
text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
\W匹配的是和\w相反的:
text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +
而如果你的text是一个下划线或者英文字符,那么就匹配不到了。示例代码如下:
text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
[]组合的方式,只要满足中括号中的某一项都算匹配成功:
text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888
之前讲到的几种匹配规则,其实可以使用中括号的形式来进行替代:
\d
:[0-9]
- \D:
[0-9]
- \w:
[0-9a-zA-Z_]
- \W:
[^0-9a-zA-Z_]
匹配多个字符:
-
*
:可以匹配0或者任意多个字符。示例代码如下:text = "0731" ret = re.match('\d*',text) print(ret.group()) >> 0731
以上因为匹配的要求是
\d
,那么就要求是数字,后面跟了一个星号,就可以匹配到0731这四个字符。 -
+
:可以匹配1个或者多个字符。最少一个。示例代码如下:text = "abc" ret = re.match('\w+',text) print(ret.group()) >> abc
因为匹配的是
\w
,那么就要求是英文字符,后面跟了一个加号,意味着最少要有一个满足\w
的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符,那么就会报错。示例代码如下:text = "" ret = re.match('\w+',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
-
?
:匹配的字符可以出现一次或者不出现(0或者1)。示例代码如下:text = "123" ret = re.match('\d?',text) print(ret.group()) >> 1
-
{m}
:匹配m个字符。示例代码如下:text = "123" ret = re.match('\d{2}',text) print(ret.group()) >> 12
-
{m,n}
:匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下:text = "123" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 12
如果text只有一个字符,那么也可以匹配出来。示例代码如下:
text = "1" ret = re.match('\d{1,2}',text) prit(ret.group()) >> 1
小案例:
-
验证手机号码:手机号码的规则是以
1
开头,第二位可以是34587
,后面那9位就可以随意了。示例代码如下:text = "18570631587" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> 18570631587
而如果是个不满足条件的手机号码。那么就匹配不到了。示例代码如下:
text = "1857063158" ret = re.match('1[34587]\d{9}',text) print(ret.group()) >> AttributeError: 'NoneType' object has no attribute
-
验证邮箱:邮箱的规则是邮箱名称是用
数字、数字、下划线
组成的,然后是@
符号,后面就是域名了。示例代码如下:text = "hynever@163.com" ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text) print(ret.group())
-
验证URL: URL的规则是前面是
http
或者https
或者是ftp
然后再加上一个冒号,再加上一个斜杠,再后面就是可以出现任意非空白字符了。示例代码如下:text = "http://www.baidu.com/" ret = re.match('(http|https|ftp)://[^\s]+',text) print(ret.group())
-
验证身份证:身份证的规则是,总共有18位,前面17位都是数字,后面一位可以是数字,也可以是小写的x,也可以是大写的X。示例代码如下:
text = "3113111890812323X" ret = re.match('\d{17}[\dxX]',text) print(ret.group())
^(脱字号):表示以…开始:
text = "hello"
ret = re.match('^h',text)
print(ret.group())
注意:如果是在中括号中,那么代表的是取反操作.
$:表示以…结束:
$ 表示以什么结尾,判断的范围是普通字符所在区间
# 匹配163.com的邮箱
text = 'xxx@163.com'
# ret = re.search('\w+@163\.com$',text) # 以@163.com为结尾
ret = re.search('\w+@\w+\.com$',text) # 以.com结尾
print(ret.group())
>> xxx@163.com
|:匹配多个表达式或者字符串:
text = 'http://www.baidu.com'
ret = re.search('^(ftp|http|https)://\w+\.\w+\.(com|cn)$',text)
print(ret.group())
>> http://www.baidu.com
贪婪模式和非贪婪模式:
贪婪模式:正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式:正则表达式会尽量少的匹配字符。
示例代码如下:
text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式,所以会输出0123456
>> 0123456
可以改成非贪婪模式,那么就只会匹配到0。示例代码如下:
text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())
再举一个栗子:
text = '<h1>标题<h1>'
ret = re.match('<.+>',text) # 贪婪模式
print(ret.group())
>> <h1>标题<h1>
改为非贪婪模式,就只会匹配到<h1>
text = '<h1>标题<h1>'
ret = re.match('(<.+?>)',text)
print(ret.group())
>> <h1>
案例:匹配0-100
之间的数字:
text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99
而如果text=101
,那么就会抛出一个异常。示例代码如下:
text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
转义字符和原生字符串:
在正则表达式中,有些字符是有特殊意义的字符。因此如果想要匹配这些字符,那么就必须使用反斜杠进行转义。比如$
代表的是以…结尾,如果想要匹配$
,那么就必须使用\$
。示例代码如下:
text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99
原生字符串:
在正则表达式中,\
是专门用来做转义的。在Python中\
也是用来做转义的。因此如果想要在普通的字符串中匹配出\
,那么要给出四个\
。示例代码如下:
text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())
因此要使用原生字符串就可以解决这个问题:
text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())
实战
古诗文网爬虫实战
目标:爬取前七页古诗文网的数据,并将爬取下来的古诗文以字典的形式格式化为:
poems={
标题:xxx,
年代:xxx,
作者:xxx,
内容:xxx
}
代码:
import requests
import re
BASE_URL="https://www.gushiwen.org/"
HEADERS={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'
}
def page_parse(url):
resp = requests.get(url,headers=HEADERS)
text = resp.text
# 解析页面
titles = re.findall(r'<div\sclass="cont">.*?<b>(.*?)</b>',text,re.DOTALL) # 两个问号都是设置正则为非贪婪模式
dynasties=re.findall(r'<p class="source">.*?<a.*?>(.*?)</a>',text,re.DOTALL)
authors=re.findall(r'<p class="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text,re.DOTALL)
content_tags=re.findall(r'<div class="contson" .*?>(.*?)</div>',text,re.DOTALL)
contents =[]
for content in content_tags:
poem = re.sub(r'<.*?>',"",content)
contents.append(poem.strip().replace('\n',''))
poems =[]
for value in zip(titles,dynasties,authors,contents):
title,dynasty,author,content = value
poem = {
'title':title,
'dynasty':dynasty,
'author':author,
'content':content
}
poems.append(poem)
for poem in poems:
print(poem)
print("="*40)
def main():
url = BASE_URL+'default_{}.aspx'
for i in range(1,8):# 爬取前7页
page_parse(url.format(i))
if __name__ == '__main__':
main()
糗事百科段子爬取
import requests
import re
HEADERS={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'
}
def page_parse(url):
resp = requests.get(url,headers=HEADERS)
text = resp.text
# 解析页面
author_tags = re.findall(r'<div class="article block untagged mb15 typs_\w+" .*?>.*?<h2>(.*?)</h2>',text,re.S)
authors = []
for author_tag in author_tags:
author = re.sub(r'\\n','',author_tag).strip()
authors.append(author)
content_tags = re.findall(r'<div class="content">.*?<span>(.*?)</span>',text,re.S)
contents = []
for content_tag in content_tags:
content = content_tag.strip().replace("\\n","").replace('<br/>',"")
contents.append(content)
jokers = []
for value in zip(authors,contents):
author,content = value
joker = {
'author':author,
'content':content
}
jokers.append(joker)
for joker in jokers:
print(joker)
def spider():
url = "https://www.qiushibaike.com/text/page/{}/"
for i in range(1,8):
page_parse(url.format(i))
if __name__ == '__main__':
spider()