scrapy的爬虫流程与初步创建

  1.首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。

  2.Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent, Proxy代理)交给Downloader。

  3.Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）经ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。　
　　　　
  4.Spiders处理response，提取数据并将数据经ScrapyEngine交给ItemPipeline保存（可以是本地，可以是数据库）。

  5.提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。

#安装scrapy并在终端输入
scrapy startproject **spider
#使用pycharm启动爬虫在Terminal中输入
scrapy genspider ** www.**.com(爬虫地址)
#创建爬虫文件，爬虫文件在spiders目录下。