针对于爬虫来说,涉及到很多关于数据包的问题,而对于数据包的产生来说,了解相关网络协议及其他网络知识是必不可少的,因此我在这里罗列几款抓包工具。(PS:对于爬虫而言,你个人知道的技术越多,而目标方对你了解的越少,对于你获取数据也就越有利,所以有时候我们会发现很多技术的开源是在已经实现完大部分商业链之后才会开源的。就好比在挖0day的时候,这种漏洞带来的价值很有可能是非常巨大的)
几款常见的抓包工具:
- anyproxy
- tcpdump
- wireshark
- 内置浏览器抓包工具
- fiddler
- sniffer
- httpInterceptor
对于以上几款抓包工具的其他信息,在网站上很多博主都层写过各种文章了。我这里仅做几个链接引导把,更希望大家能把自己的信息收集能力提升上去。
网络抓包工具
https://blog.csdn.net/wnma3mz/article/details/79484228
功能强大的网络抓包软件-sniffer使用教程
http://baijiahao.baidu.com/s?id=1578858174852859317&wfr=spider&for=pc
15个免费好用的抓包工具
https://blog.csdn.net/xuaner8786/article/details/79659755
。。。。。。
其实还有很多链接,很多内容,有经验的老司机们都已经介绍得非常好了,所以我这里要做的就是坚定你心中猜疑的想法,相互交换思想。
再随便说几个个人在学习的时候的笔记记录及思考点吧,希望能给你们提供更好的思路,因为在我学习渗透的时候发现不管你用什么脚本工具还是自己写的工具,你总是要去遵循思路设计这条线为主:
AnyProxy是一个开放式的HTTP代理服务器。这里就要明白http协议,一般数据包的大小及内容,以及在OSI里面流动的情况;代理,什么是正向代理什么是反向代理。不支持证书我应该怎么去做。手机端也可以利用anyproxy来抓包。
tcpdump是一个无GUI的抓包工具。适用于无GUI界面的linux系统下进行抓包。包的头部信息怎么去查看,具体内容怎么去查看。
wireshark最强大的一点不是它捕获的能力,而是在于它解析协议的能力。在我们执行shell的时候开启侦听,就可以抓到非http的包,以此类推,我们还需要去了解各协议相关内容以及默认端口。因为它可以分析到2,3,4层以及应用层的包内容情况,所以我们可以得到很多有用的信息。
其他的抓包工具的信息,请大家自行在搜索引擎上边搜索吧,很多人早就发布了相关的内容。