#创建爬虫项目
##搭建爬虫框架
1安装爬虫框架 pip install scrapy -i
2创建scrapy文件夹 scrapy startproject 加自拟文件名
在对应文件夹下有如下目录
scrapy.cfg:项目的配置文件,一般不用设置。此文件所在目录为项目根目录
item.py:保存爬取到数据的容器,在此文件中定义要爬取什么数据
pipelines.py:处理已经爬取到的数据。如:对数据进行去重或者保存到数据库,就在这个文件中定义
middlewares.py:中间件文件,用来对所有发出的请求、收到的响应或spider做全局性的自定义设置
setting.py:Scrapy爬虫框架的设置文件
spider文件夹:存放爬虫代码,定义爬虫的主要逻辑,可以在这个文件夹定义多个爬虫
##编写需要爬取的字段