【爬虫实例】正则表达式爬取古诗词

最新推荐文章于 2021-12-14 22:41:43 发布

Havertz_2024

最新推荐文章于 2021-12-14 22:41:43 发布

阅读量434

点赞数 1

分类专栏： spider_learning 文章标签： python

本文链接：https://blog.csdn.net/qq_38480908/article/details/107918694

版权

本文记录了一次使用正则表达式爬取古诗词网站的实战过程，通过学习，理解了如何利用`.`匹配字符，以及`zip()`函数的用法，并意识到正则表达式需要不断练习以熟练掌握。

摘要由CSDN通过智能技术生成

一、序言

学完正则表达式，今天做了一个实战项目，来爬取某个古诗词网站的诗词信息。

二、代码

# 00 导入所需的包
import requests
import re

# 03 页面解析
def parse_page(url):
    # 3.1 构造请求头
    headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
    "Referer": "https: // so.gushiwen.cn / shiwen / default_0AA2.aspx"
    }
    response = requests.get(url,headers=headers)
    # 3.2 根据网页构造对返回的内容进行解析
    text = response.text
    titiles = re.findall