使用工具:Fiddler+基础爬虫
Fiddler是一个抓包神器,用来检查电脑和互联网之间所有的通讯内容,而且比较简单容易上手,显示的格式也比较友好。
网页基本都会爬了,现在开始要想想如何去爬手机app里的内容了,爬取手机内容的方式也有很多,今填就介绍一个比较简单的组合,使用Fiddler+基础爬虫的形式来爬取,主要的案例就是来爬取知乎app内的热榜内容。知乎热榜
案例:使用fiddler+基础爬虫爬取知乎热榜
前言
首先简单的介绍一下一些网站以及一些手机app的原理,很多网站和手机app基本都是先把架子写好,然后往架子里填充数据,然而这些数据基本都是通过手机app或者网站向服务器发起请求,之后服务器返回json或者xml数据,然后网站或者手机app对数据进行解析到各个地方。之前我写过的一个微信小程序经纬我查查就是通过这种方式来操作的,通过小程序获取用户当前的地址,之后将地址传到服务器进行坐标转换再将结果传回解析到相应的位置。
1.设置Fiddler
先去官方网站下载一个fiddler,具体怎么下载就不说了,下边直接开始说关于如何设置的问题。
找到tools之后打开,选择connections,将图中标记的选项打对
之后再去HTTPS,将相应的内容打对,因为访问HTTPS网站需要下载专门