爬虫---创建scrapy框架的项目

进入命令管理器

1. 通过命令scrapy startproject spider3

2. 进入spider3项目中
   执行scrapy genspider university qianmu.org (scrapy genspider 爬虫的名字name 爬虫的域名)

3. 通过pycharm软件导入此项目

scrapy.cfg：必须有的重要的项目的配置文件
item.py：定义Item类，从scrapy.Item继承，里面定义scrapy.Field类

pipelines.py：处理爬取的数据流向。重要的是process_item()方法
spiders目录下的__init__.py：也是必须有。在这里可以写爬虫类或爬虫子模块
settings.py 配置文件：

BOT_NAME # 爬虫名

ROBOTSTXT_OBEY = True # 遵守robots协议

USER_AGENT=’’ # 指定爬取时使用。一定要更改user-agent，否则访问会报403错误

CONCURRENT_REQUEST = 16 # 默认16个并行

DOWNLOAD_DELAY = 3 # 下载延时

COOKIES_ENABLED = False # 缺省是启用。一般需要登录时才需要开启cookie

DEFAULT_REQUEST_HEADERS = {} # 默认请求头，需要时填写

SPIDER_MIDDLEWARES # 爬虫中间件

DOWNLOADER_MIDDLEWARES # 下载中间件

‘first.middlewares.FirstDownloaderMiddleware’: 543 # 543优先级越小越高

‘firstscrapy.pipelines.FirstscrapyPipeline’: 300 # item交给哪一个管道处理，300优先级越小越高
其他参数介绍参考：https://blog.csdn.net/xc_zhou/article/details/82760608