本文介绍了Scrapy框架的使用，包括创建项目、运行爬虫、查看爬虫列表等命令。详细阐述了Scrapy的运行过程，以及Spider类、Downloader Middleware和Spider Middleware的工作原理。同时，提到了Item Pipeline在数据处理中的作用，如数据清理、验证、去重和存储。
•
Scrapy
命令 分为两种
：全局命令和项目命令
(
使用
scrapy
–h
可以查看
)
全局命令：在哪里都能使用。
项目命令：必须在爬虫项目里面才能使用。
•
Scrapy
常用命令有：
scrapy startproject 项目名称 # 创建一个爬虫项目或工程
scrapy genspider 爬虫名 域名 # 在项目下创建一个爬虫Spider类
scrapy runspider 爬虫文件 #运行一个爬虫spider类文件
scrapy list # 查看当前项目下有多少个爬虫
scrapy crawl 爬虫名称 #通过名称指定运行爬取信息
scrapy shell url/文件名 #使用shell进入scrpay交互环境
Scrapy框架的运行过程
① 使用scrapy startproject<
最低0.47元/天 解锁文章
扫一扫
62万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
