本文介绍了如何创建Scrapy项目，详细讲解了Scrapy的运行流程，包括引擎、调度器、下载器、蜘蛛、Item Pipeline、下载器中间件和Spider中间件的工作原理，并阐述了数据流的过程。此外，还探讨了DownloaderMiddleware和SpiderMiddleware的使用场景及其关键方法。
创建scrapy项目流程
1、在cmd中创建Scrapy项目工程。
在命令行，切换的自己的项目代码的工作空间下，执行如下命令
scrapy startproject ScrapyTest有如下提示则表示创建成功
可以根据下面的提示，创建爬虫文件
用pycharm打开文件夹，可以 看见如下目录结构：
spiders.py目录下用于存放自己编写的爬虫
item.py在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item
middleware.py 中间件是介入到Scrapy的spider处理机制的钩子框架
pipelines.py 主要是对于抓取数据的保存（txt）
setting.py这是设置文件，这里需要设置同时开启的线程数目等
scrapy 运行流程
首先拿来主义一下scrapy的架构图：
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
