爬虫抓包工具及解决思路总结

爬虫抓包工具总结

作者从事爬虫工作已经2年有余，对于爬虫颇有感触，其中最深的就属于抓包了。只有找到数据API才有机会去解决怎么模拟甚至破解。下面就自己的经验做一个小结，希望对你们有所帮助
由于作者没有使用Mac电脑开发所以就略过

---

工具集合

• Fiddler（windows强推，因为作者之前是win电脑开发）
• Charles （用的少，就不详细介绍）
• mitmproxy （配合python脚本有奇效）
• Chrome/Firefox
• wireshark

---

详细介绍

Fiddler

• Windows
  • Fiddler 在windows上是一个十分强大的工具，详细教程在网上都可以搜到，这里就不做介绍了。提示一下：注意配置，仔细一点很轻松能解决
  • 经验总结：
    • web：
      • 我的个人习惯是拿到网站第一时间打开fiddler，然后开始访问网站，之后去Fiddler搜索当前网页任意一个标注性文字或者数据，找出数据所在位置，分辨其存储方式是html，js，json还是其他。以便针对处理。
      • 打开postman或者新建test.py,模拟发送查看是否需要前置请求，或者是否有cookie或者参数是一次性。cookies可以使用chrome插件EditThisCookies分辨。