2.3-python爬虫之正则表达式和re模块

最新推荐文章于 2023-09-09 04:46:59 发布

Nosimper

最新推荐文章于 2023-09-09 04:46:59 发布

阅读量751

点赞数

分类专栏： python爬虫学习笔记文章标签：正则表达式 python 字符串

本文链接：https://blog.csdn.net/qq_43616565/article/details/119855570

版权

Python 正则表达式网络爬虫 re模块古诗文爬取

关键词由CSDN通过智能技术生成

python爬虫学习笔记专栏收录该内容

15 篇文章 0 订阅

订阅专栏

系列文章目录

python爬虫目录

前言

摘录自B站对应课程笔记
不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏）

以下是本篇文章正文内容，下面案例可供参考

一、正则表达式

正则表达式：通俗理解：按照一定的规则，从某个字符串中匹配出想要的数据。这个规则就是正则表达式。

1、正则表达式常用匹配规则

1、匹配某个字符串

text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he

以上便可以在hello中，匹配出he。

2、点（.）匹配任意的字符

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

但是点（.）不能匹配不到换行符。示例代码如下：

>>> ret = re.match(".", "\n")
>>> ret.group()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'

3、\d匹配任意的数字

>>> res = re.match('\d', '123')
>>> res.group()
'1'

4、\D匹配任意的非数字

>>> res = re.match('\d', '123')
>>> res.group()
'1'

而如果text是等于一个数字，那么就匹配不成功了。示例代码如下：

>>> res = re.match('\D', '1')
>>> res.group()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'

5、\s匹配的是空白字符（包括：\n，\t，\r和空格）

>>> res = re.match('\s', '\t')
>>> res.group()
'\t'
>>> print(res.group())
 
>>>

6、\w匹配的是a-z和A-Z以及数字和下划线：

>>> res = re.match('\w', "_")
>>> res.group()
'_'
>>>

而如果要匹配一个其他的字符，那么就匹配不到。示例代码如下：

>>> res = re.match('\w', "+")
>>> res
>>> print(type(res))
<class 'NoneType'>
>>>NoneType' object has no attribute

7、\W匹配的是和\w相反的：

>>> res = re.match("\W", "+")
>>> res.group()
'+'
>>>

而如果你的text是一个下划线或者英文字符，那么就匹配不到了。示例代码如下：

>>> res = re.match("\W", "_")
>>> print(type(res))
<class 'NoneType'>
>>>

8、[]组合的方式，只要满足中括号中的某一项都算匹配成功：

>>> res = re.match("[\d\-]+", "0767-1230021")
>>> res.group()
'0767-1230021'
>>>

之前讲到的几种匹配规则，其实可以使用中括号的形式来进行替代：
\d：[0-9]
\D：[^0-9]
\w：[0-9a-zA-Z_]
\W：[^0-9a-zA-Z_]

2、匹配多个字符

1、*

#可以匹配0或者任意多个字符。示例代码如下：
>>> res = re.match("\d*", "123")
>>> res.group()
'123'
>>>

2、+

#可以匹配1个或者多个字符。最少一个。示例代码如下：
>>> res = re.match("\w+", "123")
>>> res.group()
'123'
>>>

因为匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符，那么就会报错。示例代码如下：

>>> res = re.match("\w+", "")
>>> res.group()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'
>>>eType' object has no attribute

3、?

#匹配的字符可以出现一次或者不出现（0或者1）。示例代码如下：
>>> res = re.match("\d?", "123")
>>> res.group()
'1'
>

4、{m}

#匹配m个字符。示例代码如下：
>>> res = re.match("\d{2}", "123")
>>> res.group()
'12'
>>>

5、{m,n}

#匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下：
>>> res = re.match("\d{1,2}", "123")
>>> res.group()
'12'

#如果只有一个字符，那么也可以匹配出来。示例代码如下：
>>> res = re.match("\d{1,2}", "1")
>>> res.group()
'1'
>>>

3、案例

#验证手机号码：手机号码的规则是以1开头，第二位可以是34587，后面那9位就可以随意了。
>>> res = re.match("1[34578]\d{9}", "18814121213")
>>> res.group()
'18814121213'
>>>
#验证邮箱：邮箱的规则是邮箱名称是用数字、数字、下划线组成的，然后是@符号，后面就是域名了。
>>> res =re.match("\w+@\w+[\w\.]+", "8888123@qq.com")
>>> res.group()
'8888123@qq.com'
>>>
#验证URL：URL的规则是前面是http或者https或者是ftp然后再加上一个冒号，再加上一个斜杠，再后面就是可以出现任意非空白字符了。
>>> res = re.match("(http|https|ftp)://[^\s]+", "http://www.baidu.com")
>>> res.group()
'http://www.baidu.com'
>>>
#验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位可以是数字，也可以是小写的x，也可以是大写的X。
>>> res = re.match("\d{17}[\dxX]?", "31131118908123230X")
>>> res.group()
'31131118908123230X'
>>>

4、其他符号之 ^ $ |

^（脱字号）：表示以…开始：

# 使用 search 进行查找， match 就是从开始匹配
>>> res = re.search("^he", "hello")
>>> res.group()
'he'
>>>

如果是在中括号中，那么代表的是取反操作.

$：表示以…结束：

# 匹配163.com的邮箱
>>> res = re.match("\w+@163\.com$", "123456@163.com")
>>> res.group()
'123456@163.com'
>>>

|：匹配多个表达式或者字符串：

>>> res = re.findall("11|22|33","11a22b33c")
>>> res
['11', '22', '33']
>>>

5、贪婪模式和非贪婪模式

贪婪模式：正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式：正则表达式会尽量少的匹配字符。

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式，所以会输出0123456
>> 0123456
#可以改成非贪婪模式，那么就只会匹配到0
>>> res = re.match("\d+?", "012345")
>>> res.group()
'0'
>>>

"""
匹配0-100之间的数字：
如果是两位数，第一位不能为0，
如果是三位数，只能是 100 
"""
>>> re.match("([1-9]?\d|100)$", "0").group()
'0'
>>> re.match("([1-9]?\d|100)$", "99").group()
'99'
>>> re.match("([1-9]?\d|100)$", "100").group()
'100'
>>>

匹配模式： ([1-9]?\d|100)$ 或 [1-9]?\d $∣ 100$

6、转义字符和原生字符串

在正则表达式中，有些字符是有特殊意义的字符。因此如果想要匹配这些字符，那么就必须使用反斜杠进行转义。比如 $代表的是以 . . . 结尾，如果想要匹配$ ，那么就必须使用$。示例代码如下：

>>> re.search("\$\d+", "apple paice is \$88").group()
'$88'
>>>

原生字符串：
在正则表达式中，\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\，那么要给出四个\。示例代码如下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

因此要使用原生字符串就可以解决这个问题：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

二、re模块

1、match

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

如果想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就可以匹配换行符了。示例代码如下：

>>> re.match("abc.*123", "abc\n123", re.DOTALL).group()
'abc\n123'
>>>

2、search

在字符串中找满足条件的字符。如果找到，就返回。说白了，就是只会找到第一个满足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

3、分组

在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。
group：和group(0)是等价的，返回的是整个满足条件的字符串。
groups：返回的是里面的子组。索引从1开始。
group(1)：返回的是第一个子组，可以传入多个。
示例代码如下：

import re
 
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)", text)
print(ret.group())   # apple price is $99,orange price is $10
print(ret.group(0))  # apple price is $99,orange price is $10
print(ret.group(1))  # $99
print(ret.group(2))  # $10
print(ret.groups())  # ('$99', '$10')

4、findall

找出所有满足条件的，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

5、sub

用来替换字符串。将匹配到的字符串替换为其他字符串。

>>> re.sub("\d+", "0", "123abc45ef")
'0abc0ef'
>>>

sub函数的案例，获取拉勾网中的数据：

import re
 
html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""
 
ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

6、split

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

7、compile

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快。而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释。示例代码如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

三、爬取古诗文网站的古诗

"""
需求：
从古诗文网站下载古诗文信息
使用 re 模块和 正则表达式 进行解析
"""
 
import re
import requests
 
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36",
}
 
def parse_page(url):
    # 获取页面数据
    response = requests.get(url, HEADERS)
    text = response.content.decode("utf-8")
 
    # re.S = re.DOTALL : 使特殊字符与任何字符都匹配，包括换行符。没有此标识，"." 将匹配换行符之外的任何内容
    titles = re.findall(r'<div\s*class="cont">.*?<b>(.*?)</b>', text, re.DOTALL)  # 获取题目
    outhers = re.findall(r'<p\s*class="source">.*?<a.*?>(.*?)</a>', text, re.DOTALL)  # 获取作者
    contents = re.findall(r'<div\s*class="contson".*?>(.*?)</div>', text, re.DOTALL)  # 获取诗句
    contents = list(map(lambda data: re.sub(r'<.*?>', "", data).strip(), contents))  # 去掉换行
 
    # 组装成（title, outher, content）的列表
    poem_list = list(zip(titles, outhers, contents))
    poems_dict = []
    for p in poem_list:
        p_dict = {}
        p_dict["title"] = p[0]
        p_dict["outher"] = p[1]
        p_dict["content"] = p[2]
        poems_dict.append(p_dict)
    return poems_dict
 
def main():
    poems = []
    for i in range(1, 5):
        print(i)
        url = "https://www.gushiwen.cn/default_{}.aspx".format(i)
        sub_poems = parse_page(url)
        poems.extend(sub_poems)
    print("poems = ", poems)
 
if __name__ == '__main__':
    main()