2401_83323557的博客

原创 Scrapy框架介绍

至此，对Scrapy有了一个非常初步的了解和使用，快速总结一下，Scrapy框架的使用流程：创建爬虫项目：scrapy start xxx进入项目目录：cd xxx创建爬虫：scrapy genspider 名称 抓取域编写 item.py 文件，定义好数据 item修改spider中的parse方法，对返回的响应response对象进行解析，返回item在pipline中对数据进行保存工作修改 settings.py 文件，将pipline设置未生效，并设置好优先级。