python Scrapy项目 之 古诗文网案例呈现
文章目录
- 需求
- 1. Scrapy项目创建
- 2. 全局配置 settings.py
- 3. 爬虫程序.py
- 4. 数据结构 items.py
- 5. 管道 pipelines.py
- 6. 程序执行 start.py
需求
通过python,Scrapy框架,爬取古诗文网上的诗词数据,具体包括诗词的标题信息,作者,朝代,诗词内容,及译文。爬取过程需要逐页爬取,共4页。第一页的url为(https://www.gushiwen.cn/default_1.aspx)。
1. Scrapy项目创建
首先创建Scrapy项目及爬虫程序
在目标目录下,创建一个名为prose的项目:
scrapy startproject prose
进入项目目录下,然后创建一个名为gs的爬虫程序,爬取范围为 gushiwen.cn
cd prose
scrapy genspider gs gushiwen.cn
2. 全局配置 settings.py
对配置文件settings.py做如下编辑:
①选择不遵守robots协议
②下载间隙设置为1
③并添加请求头,启用管道
④此外设置打印等级:LOG_LEVEL=“WARNING”
具体如下:
# Scrapy settings for prose project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://docs.scrapy.org/