大家好,我是九娘。上一周突然发现我的粉丝数量开始增加,于是又有了写文章的雅致。那么今天我给大家分享一些有意思的事情。
相信爬虫大家都会吧!但是,如果是想爬取APP上面的数据呢?不知道你们有没有过这样的想法,我们之前接触的爬虫都是爬网页,那么APP上面的数据是不是不能爬取?
在闲暇之余,九娘找到了一些比较有意思的网站,他们似乎没有源代码(具体体现在按下F12页面没有反应,鼠标右击页面也没有反应)
九娘也是感觉到好奇,于是查看了robots协议,如下:
看到协议之后九娘就有些气愤了,什么jpg,png,gif之类的规格都允许访问,都允许爬取。难得啊,九娘也憋不住笑出了声。既然你明摆着挑衅,那九娘就得硬着头皮试一试了。礼来顺受,是吧,咱九娘也是学过仪礼的,也并不是不懂人情世故。
那么下面,九娘九要介绍一位朋友了,他就是fiddler!
Fiddler是一款免费网络代理调试工具。
Fiddler是一个蛮好用的抓包工具,可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。反正好处多多,举之不尽呀!
当年学习的时候也蛮费劲,一些蛮实用隐藏的小功能用了之后就忘记了,每次去网站上找也很麻烦,所以搜集各大网络的资料,总结了一些常用的功能。
一、Fiddler 下载
注意:Fiddler2需要.NET v2,Fiddle