爬虫抓包工具总结
作者从事爬虫工作已经2年有余,对于爬虫颇有感触,其中最深的就属于抓包了。只有找到数据API才有机会去解决怎么模拟甚至破解。下面就自己的经验做一个小结,希望对你们有所帮助
由于作者没有使用Mac电脑开发所以就略过
工具集合
- Fiddler(windows强推,因为作者之前是win电脑开发)
- Charles (用的少,就不详细介绍)
- mitmproxy (配合python脚本有奇效)
- Chrome/Firefox
- wireshark
详细介绍
Fiddler
- Windows
- Fiddler 在windows上是一个十分强大的工具,详细教程在网上都可以搜到,这里就不做介绍了。提示一下:注意配置,仔细一点很轻松能解决
- 经验总结:
- web:
- 我的个人习惯是拿到网站第一时间打开fiddler,然后开始访问网站,之后去Fiddler搜索当前网页任意一个标注性文字或者数据,找出数据所在位置,分辨其存储方式是html,js,json还是其他。以便针对处理。
- 打开postman或者新建test.py,模拟发送查看是否需要前置请求,或者是否有cookie或者参数是一次性。cookies可以使用chrome插件EditThisCookies分辨。
- web: