[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SwhkezqT-1612408734733)(http://127.0.0.1#pic_center)]
写下近期爬虫遇到的一些问题和想法。
1. 智联招聘web端不登录会有限制,最多访问5页
2. 还是智联,app端会对安卓模拟器有限制,在打开代理或者fiddler时会报网络错误的提示,这个主要是做了ssl pinning检测的缘故(京东也有这个问题)
解决办法:
1. 安卓模拟器下载安装包,使用drony绕过ssl pinning检测
2. fiddler抓包
3. 找到接口,补全请求的参数
图文说明(用拉勾演示)
1.安卓模拟器下载、安装拉勾的app和drony
2.测试lg可不可以正常打开以及使用
3.设置drony
4.右划到setting,点击wifi
5.点击模拟器的wifi
6.设置fiddler所在的主机ip地址和fiddler监听的端口(fiddler和模拟器要是在同一台就是本机ip)
7.继续往下设置
8.设置rules
在application中选中抓包的app,然后保存
9.回到drony的首页,打开on
10.打开fiddler,清空列表
11.打开模拟器上的app