scrapy工作机制：
通过spider将url通过初始化Request对象进入引擎，然后放入调度器进行优先级的等待，到此任务是进入下载器进行源码的下载提交给spider，然后spider进行数据的提取，如果有需要的url就再次的进行上述步骤，通过item管道进行数据的存储，中间件是为了给scrapy框架添加别的功能
对于验证码的处理思路：
1，通过cookie登陆
2，通过运用orc的库Tesract
3，滑动验证码：例如b站
4，打码平台：超级鹰
5，点触验证码的识别（超级鹰也可以）
模拟登陆开发 selenium
scrapy使用代理ip：
在settings中设置下载中间件，然后在下载中间件中编写使用代理ip的代码
pandas和numpy进行数据清洗：
科学计算工具：numpy
开发环境：jupyter notebook
画图工具：matplotlib
基于numpy对于数据进行处理：pandas
75万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
