从零开始上手scrapy爬虫

#scrapy爬虫系统性复习

##1.分享原因
我参考了一个学习爬虫的视频，复习scrapy爬虫来做项目
首先感谢课工场大佬，逻辑性非常清晰，我按照视频实际操作，代码可以跑通。所以分享给大家
视频链接如下：
https://b23.tv/r0HvEt
，这个视频比较长，用时491分钟，

##2.按时间总结划分
所以我先做个简单的视频时间划分，大家可以各取所需
00-45min 爬虫原理以及浏览器F12工具
45-94min 爬取公交车站信息并保存到csv文件中
94-144min 深度爬取策略
144-269min 安装并使用scrapy爬虫框架
269-352min 使用scrapy框架进行多层级爬取(xpath\css\正则表达式)
352-427min 基于scrapy,分别用mysql\mongodb存储爬取下的数据
427-491min 反爬虫机制（验证登录代理，IP池，User-agent池，cookies模拟登录，scheduler数据过滤/清洗）
视频分时段总结为以上内容

##3.scrapy官方文档链接
https://docs.scrapy.org/en/latest/

接下来我会持续分享爬虫相关内容，感谢关注^…