Python爬虫学习（八）Scrapy爬虫基本流程

（八）Scrapy爬虫基本流程

(1)步骤1

• 建立工程和Spider模板

  建立工程

  >scrapy startproject project_name

  打开工程文件夹

  >cd project_name

  建立Spider模板

  >scrapy genspider spider_name crawl_website

(2)步骤2

• 编写Spider

  配置spider_name.py文件

  修改对返回页面的处理

  修改对新增URL爬取请求的处理

(3)步骤3

• 编写ITEM Pipelines

  配置pipelines.py文件

  定义对爬取项 (Scraped Item) 的处理类

  配置ITEM_PIPELINES选项

(4)步骤4

• 运行爬虫程序

  >scrapy crawl spider_name

(5)步骤5

• 配置优化：配置并发连接选项