爬取古诗词网（使用正则）

最新推荐文章于 2023-05-11 10:56:25 发布

__tian__

最新推荐文章于 2023-05-11 10:56:25 发布

阅读量668

点赞数 3

分类专栏：爬虫文章标签：爬虫正则

本文链接：https://blog.csdn.net/T_I_A_N_/article/details/102500457

版权

爬虫专栏收录该内容

27 篇文章 1 订阅

订阅专栏

一、正则使用

正则表达式常用匹配规则：

匹配某个字符串：

text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he

以上便可以在hello中，匹配出he。

点（.）匹配任意的字符：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

但是点（.）不能匹配不到换行符。示例代码如下：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

\d匹配任意的数字：

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

\D匹配任意的非数字：

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

而如果text是等于一个数字，那么就匹配不成功了。示例代码如下：

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

\w匹配的是`a-z`和`A-Z`以及数字和下划线：

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

而如果要匹配一个其他的字符，那么就匹配不到。示例代码如下：

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

\W匹配的是和\w相反的：

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

而如果你的text是一个下划线或者英文字符，那么就匹配不到了。示例代码如下：

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

[]组合的方式，只要满足中括号中的某一项都算匹配成功：

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

之前的几种匹配规则，可以使用中括号的形式来进行替代：

\d：[0-9]
\D：0-9
\w：[0-9a-zA-Z_]
\W：[^0-9a-zA-Z_]

匹配多个字符：

*：可以匹配0或者任意多个字符。示例代码如下：
```
 text = "0731"
 ret = re.match('\d*',text)
 print(ret.group())
 >> 0731
```
以上因为匹配的要求是\d，那么就要求是数字，后面跟了一个星号，就可以匹配到0731这四个字符。
+：可以匹配1个或者多个字符。最少一个。示例代码如下：
```
 text = "abc"
 ret = re.match('\w+',text)
 print(ret.group())
 >> abc
```
因为匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符，那么就会报错。示例代码如下：
```
 text = ""
 ret = re.match('\w+',text)
 print(ret.group())
 >> AttributeError: 'NoneType' object has no attribute
```
?：匹配的字符可以出现一次或者不出现（0或者1）。示例代码如下：
```
 text = "123"
 ret = re.match('\d?',text)
 print(ret.group())
 >> 1
```

{m}：匹配m个字符。示例代码如下：

 text = "123"
 ret = re.match('\d{2}',text)
 print(ret.group())
 >> 12

{m,n}：匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下：
```
 text = "123"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())
 >> 12
```
如果text只有一个字符，那么也可以匹配出来。示例代码如下：
```
 text = "1"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())
 >> 1
```

^（脱字号）：以...开始：

text = "hello"
ret = re.match('^h',text)
print(ret.group())

如果是在中括号中，那么代表的是取反操作.

$：以...结束：

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

|：匹配多个表达式或者字符串：

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

贪婪模式和非贪婪模式：

贪婪模式：正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式：正则表达式会尽量少的匹配字符。
示例代码如下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式，所以会输出0123456
>> 0123456

可以改成非贪婪模式，那么就只会匹配到0。示例代码如下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例：匹配`0-100`之间的数字：

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99

而如果text=101，那么就会抛出一个异常。示例代码如下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

转义字符和原生字符串：

在正则表达式中，有些字符是有特殊意义的字符。因此如果想要匹配这些字符，那么就必须使用反斜杠进行转义。比如$代表的是以...结尾，如果想要匹配$，那么就必须使用\$。示例代码如下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

原生字符串：
在正则表达式中，\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\，那么要给出四个\。示例代码如下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

因此要使用原生字符串就可以解决这个问题：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

re模块中常用函数：

match：

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

如果第一个字母不是h，那么就会失败。示例代码如下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

如果想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就可以匹配换行符了。示例代码如下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

search：

在字符串中找满足条件的字符。如果找到，就返回。说白了，就是只会找到第一个满足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

分组：

在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。

group：和group(0)是等价的，返回的是整个满足条件的字符串。
groups：返回的是里面的子组。索引从1开始。
group(1)：返回的是第一个子组，可以传入多个。
示例代码如下：

text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

findall：

找出所有满足条件的，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

sub：

用来替换字符串。将匹配到的字符串替换为其他字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

split：

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

compile：

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快。而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释。示例代码如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

二、爬取古诗词网

__author__ = '田明博'
__date__ = '2019/10/11 12:56'

import re
import requests


def get_page(link):
    url = link
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
    }
    resp = requests.get(url, headers=headers)
    text = resp.text
    # 获取题目
    titles = re.findall(r'<div\sclass="cont">.*?<b>(.*?)</b>', text, re.DOTALL)  # re.DOTALL: . 匹配所有字符
    source = re.findall(r'<p class="source">.*?<a.*?>(.*?)</a>', text, re.DOTALL)  # 获取朝代
    authors = re.findall(r'<p class="source">.*?<a.*?><a.*?>(.*?)</a>', text, re.DOTALL)  # 获取作者
    poems_all = re.findall(r'<div class="contson".*?>(.*?)</div>', text, re.DOTALL)  # 后获取所有古诗内容
    contents = []
    for poems in poems_all:
        poems = re.sub(r'<.*?>|\n', "", poems) #去除\n<br>
        contents.append(poems.strip())
    # print(titles, source, authors, contents)
    '''
    all_poems = []
    for x in range(len(titles)):
        one_poem = {}
        one_poem['题目'] = titles[x]
        one_poem['朝代'] = source[x]
        one_poem['作者'] = authors[x]
        one_poem['内容'] = contents[x]
        all_poems.append(one_poem)
    print(all_poems)
    '''
    # 功能同上
    all_poems = []
    for value in zip(titles, source, authors, contents):
        title, source, author, content = value  # 元组解包
        one_poem = {}
        one_poem['题目'] = title
        one_poem['朝代'] = source
        one_poem['作者'] = author
        one_poem['内容'] = content
        all_poems.append(one_poem)
    print(all_poems)


def main():
    num = int(input('输入爬取页数'))
    for i in range(num):
        link = 'https://www.gushiwen.org/default_{}.aspx'.format(num)
        get_page(link)


if __name__ == '__main__':
    main()

运行截图：

__tian__

关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
爬取古诗词网（使用正则）

一、正则使用正则表达式常用匹配规则：匹配某个字符串：text = 'hello'ret = re.match('he',text)print(ret.group())>> he以上便可以在hello中，匹配出he。点（.）匹配任意的字符：text = "ab"ret = re.match('.',text)print(ret.group())...
复制链接

扫一扫