有些网站的数据在PC端很复杂,参数加密很严重,但是移动APP端的就没那么多加密,所以在遇到有些瓶颈的情况下,可以考虑从网页端转到移动端去抓包,爬取数据。这里有两种方法:
一. 使用模拟器下载APP
如果该网站有APP的话,推荐使用逍遥安卓模拟器,可以设置代理,使用fiddler进行抓包。
二.使用谷歌浏览器伪装安卓/苹果用户
这种方式就比较简单方便,直接修改chrome浏览器的user-agent为指定的机型即可。
这里主要介绍一下第二种方法。
可以看出移动端的界面比PC端的简洁很多,抓包的时候也方便许多,可以过滤掉很多杂乱无章的js或者其他加载的数据。
如何设置修改chrome浏览器的user-agent
1.下载好最新版本的谷歌浏览器(我这里的版本是v63)
2.将Google Chrome复制粘贴一份,一个用来做正常PC端浏览器,一个用来模拟手机浏览器
3.右键单击复制后的Google Chrome浏览器,选择属性
4.在Google Chrome的目标后添加以下代码(以我桌面的浏览器为例 注意–user前面有一个空格)
安卓
"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"
苹果
"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"
5.给该浏览器重命名为安卓/苹果浏览器(这一步可以忽略,主要是用来区分普通浏览器和伪装浏览器)
接下来打开浏览器 可以发现已经变成安卓/苹果浏览器界面了,有些网站没有设置自适应屏幕,所以自行打开开发者工具调试一下分辨率就OK了。
PS
这里我还得吐槽一下乐桃航空,下订单的时候必须支付完成之后才有订单,说有支付宝方式支付但是找了半天,PC端和移动端都是没有的!这让我抓完包之后进行测试的时候如何是好~ 毕竟不敢真的将自己的信用卡号填上去