爬取基本流程
1.分析网页源代码
2.编写主函数,访问网页的主循环
3.定义函数
3.1 模拟用户登陆
3.2 反爬
3.2.1 虚拟IP
3.2.2 通过验证
3.2.3 设置访问延迟
3.2.4 设置验证码通过
3.3 通过正则或xpath 提取需要的信息
3.4 输出数据(csv,pandas)
3.5 数据处理,存入数据库
3.6 编写简单脚本,每天定时更新
4.加入gui程序
爬取基本流程
1.分析网页源代码
2.编写主函数,访问网页的主循环
3.定义函数
3.1 模拟用户登陆
3.2 反爬
3.2.1 虚拟IP
3.2.2 通过验证
3.2.3 设置访问延迟
3.2.4 设置验证码通过
3.3 通过正则或xpath 提取需要的信息
3.4 输出数据(csv,pandas)
3.5 数据处理,存入数据库
3.6 编写简单脚本,每天定时更新
4.加入gui程序