创建scrapy项目流程
1、在cmd中创建Scrapy项目工程。
在命令行,切换的自己的项目代码的工作空间下,执行如下命令
scrapy startproject ScrapyTest
有如下提示则表示创建成功
可以根据下面的提示,创建爬虫文件
用pycharm打开文件夹,可以 看见如下目录结构:
spiders.py目录下用于存放自己编写的爬虫
item.py在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item
middleware.py 中间件是介入到Scrapy的spider处理机制的钩子框架
pipelines.py 主要是对于抓取数据的保存(txt)
setting.py这是设置文件,这里需要设置同时开启的线程数目等
scrapy 运行流程
首先拿来主义一下scrapy的架构图: