scrapy框架好久之前写过几个爬虫,现在忘了,回顾一下并随便搞了点笔记
看的中国mooc大学嵩老师的课程 讲的很好
框架结构解析
5+2结构,其中2是指两个中间插件
框架入口spiders,出口itempipelines
用户一般只需要配置spiders和itempipelines
常用命令
最常用的三个命令:
startproject
genspider
crawl
scrapy使用步骤
scrapy中三个主要的类:
request:请求类
response:响应类
request类
response
item
scrapy提取信息的方法
scrapy配置并发数
scrapy数据写入MySQL数据库
参考:
https://blog.csdn.net/qq_42543244/article/details/81545256
https://blog.csdn.net/qq_29750461/article/details/80495620
https://www.jianshu.com/p/1229a2c4b479