python Scrapy项目 之 古诗文网案例呈现

python Scrapy项目 之 古诗文网案例呈现

文章目录

• 需求
• 1. Scrapy项目创建
• 2. 全局配置 settings.py
• 3. 爬虫程序.py
• 4. 数据结构 items.py
• 5. 管道 pipelines.py
• 6. 程序执行 start.py

---

---

需求

通过python,Scrapy框架，爬取古诗文网上的诗词数据，具体包括诗词的标题信息，作者，朝代，诗词内容，及译文。爬取过程需要逐页爬取，共4页。第一页的url为（https://www.gushiwen.cn/default_1.aspx）。

1. Scrapy项目创建

首先创建Scrapy项目及爬虫程序

在目标目录下，创建一个名为prose的项目：

scrapy startproject prose

进入项目目录下，然后创建一个名为gs的爬虫程序，爬取范围为 gushiwen.cn

cd prose
scrapy genspider gs gushiwen.cn

---

2. 全局配置 settings.py

对配置文件settings.py做如下编辑：

①选择不遵守robots协议
②下载间隙设置为1
③并添加请求头，启用管道
④此外设置打印等级：LOG_LEVEL=“WARNING”

具体如下：

# Scrapy settings for prose project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/