目前市面上比较不错的网络爬虫抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。
有人可能会问,何为网络爬虫?
首先,网络爬虫它是一种程序,它的样子如同一个大蜘蛛.它将网络上全部的链接和内容进行查索,建立相关的数据库并引入。往往较好的爬虫将会决定搜索引擎的质量。
Charles
![8daa0bd324b137d23e73ac938c861f3a.png](https://i-blog.csdnimg.cn/blog_migrate/43f7b4af6ad689134aa67ec2eeb13bdc.jpeg)
Charles是一款macOS上的一款抓包分析工具之一。当然他也支持windows和linux。简洁的GUI界面,http、https都是它的基本功能。这款软件是付费软件,当然你可以免费试用。
Fiddler
![85c4e688fa272432483c8a01528d45c1.png](https://i-blog.csdnimg.cn/blog_migrate/240b7f724d0457e1946c73b4e1ec1f68.jpeg)
Fiddler是Windows上一款强大的抓包工具。如果你懂C#,你可以通过修改脚本,自己定义规则。当你想抓取特定网站数据时,它可以为你去除很多的干扰。
mitmproxy
![75236ba33847b875b69a40b7fe7b5b53.png](https://i-blog.csdnimg.cn/blog_migrate/3a41970fad72e48db8d44604eed63b65.jpeg)
mitmproxy是支持SSL、基于python的一款命令行交互和跨平台工具。它包括三种工具:mitmproxy、mitmdump、libmproxy。
anyproxy
anyproxy是阿里巴巴开源、基于Nodejs实现的一款抓包工具,如果你了解js,那它将是一个不错的选择。