scrapy框架笔记

scrapy框架好久之前写过几个爬虫，现在忘了，回顾一下并随便搞了点笔记
看的中国mooc大学嵩老师的课程 讲的很好

框架结构解析

5+2结构，其中2是指两个中间插件

框架入口spiders，出口itempipelines

用户一般只需要配置spiders和itempipelines

常用命令

最常用的三个命令：

startproject

genspider

crawl

scrapy使用步骤

scrapy中三个主要的类：

request：请求类

response：响应类

request类

response

item

scrapy提取信息的方法

scrapy配置并发数

scrapy数据写入MySQL数据库

参考：
https://blog.csdn.net/qq_42543244/article/details/81545256
https://blog.csdn.net/qq_29750461/article/details/80495620
https://www.jianshu.com/p/1229a2c4b479