项目实战 - 使用Fiddler抓取bilibili安卓客户端口数据并分析(http、https)

Fiddler自带的json查看窗口可以很方便的帮我们理清返回的数据结构,但可惜的是,它提供的可操作性实在是太弱了,连复制都不行,所以这个窗口的作用也就是让我们方便的查看下抓取到的数据请求是不是我们想要的而已了。

4、使用HiJson代替Fiddler自带的json查看窗口

很多时候,我都会使用HiJson来帮助我完成对接口返回数据的分析,我相信大多数安卓开发者对该工具应该不会陌生。不过,HiJson不支持直接数据请求,所以需要从别处将json数据复制到HiJson中,Fiddler的WebView窗口可以帮到我们。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

初次点击WebView

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

点击淡黄色提示后的WebView

将WebView窗口中的数据全选,右键,复制。打开HiJson,粘贴到左窗口后点击“格式化JSON字符串”。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

好了,http的数据包抓取就到这了,不难,下面来看看https的抓包流程。

三、使用fiddler抓https包

参考上面http的抓包配置,确定配置无误后,开始抓一次「推荐」版块的包看看。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

有没有发现什么问题?在Fiddler中没找不到带有Json图标的请求记录,但有2个带锁的请求,而且Host显示"Tunnel To",这就说明「推荐」版块采用的是https请求,这种加密请求,没办法这样直接查看,还需要进行以下配置。

1、Fiddler设置

打开Fiddler设置界面,切换到HTTPS标签,将"Capture HTTPS CONNECTs"、“Decrypt HTTPS traffic”、"Ignore server certificate errors(unsafe)“都勾上,将中间的下拉菜单选择为"from all processes”,最后点击OK关闭设置界面。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2、手机设置

打开手机浏览器,输入运行Fiddler的主机ip与监听的端口,可以打开一个Fiddler的证书下载页面。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

点击最后一行的"FiddlerRoot certificate"下载并安装证书。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

最后,重启Fiddler。

可能在安装证书的时候会要求你为手机设置锁屏密码,随便设置一个你能记住的密码就好了,如Pin码:1234。

3、开始抓包

经过上面的配置后,下面就可以来抓https的包了。

重复之前的操作,在「推荐」版块中刷新一下看看(留意下Protocol列)。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这次抓取到了2条https记录,一眼就看出来了,序号1那条就是我们想要的(带着json图标)。

下面我们来验证下,这是不是就是刷新时服务器返回的json数据呢?

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

没错,就是服务器返回的json数据。

要注意,现在的多数app都会有数据缓存功能,如果你在使用Fiddler抓包的过程中遇到app在启动加载数据时,捕获不到你想要看到的数据请求记录,那很有可能就是app使用了之前的数据缓存,你要做的就是到系统的设置中,找到应用管理列表中对应的app,然后手动清空app的缓存数据即可。

到这里,使用Fiddler抓取app的http、https数据包的过程及注意事项就都说完了。接下来就记录下我对bilibili首页的「推荐」版块数据的分析吧。

四、接口与数据分析

1、接口

对比了几个不同时机的接口数据(开启app时,下拉刷新时,上拉加载更多时),我发现!!!

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

url中的几个关键参数作用分别如下:

  • idx:第一次加载数据时为0(此时,open_event=cold),若是加载更多,则是之前数据中的最后一个idx,或是刷新,则是之前数据中一开始的idx。
  • pull:刷新为true,加载更多为false。
  • login_event:为1时会加载banner,为0时则不加载banner(细节有待考究)
  • 其他参数,亲测不用也无所谓~

2、数据

这部分图片过多,可能看官大爷没什么耐心看,文章的最后有附上该界面的实现代码链接,可直接拉到最后查看。

通过仔细观查的bilibili手机APP的界面设计,并分析对应返回的数据的结构,我又发现!!!

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

安卓开发者一眼就能看出来,这个「推荐」版块绝对是采用多布局列表设计,那这个列表到底有多少布局呢,答案是至少有12种(根据数据的goto字段区分)。就我找出的这12种布局大致可分为2大类:「大布局」和「小布局」。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1)「大布局」

大布局包括的goto值有:banner、coverge、special、topic、rank、tag。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = banner

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = coverge

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = special

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = topic

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = rank

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

goto = tag

2)「小布局」

小布局包括的goto值有:av、av(带有rcmd_reason)、bangumi、login、ad_web_s、article_s。

结尾

最后小编想说:不论以后选择什么方向发展,目前重要的是把Android方面的技术学好,毕竟其实对于程序员来说,要学习的知识内容、技术有太多太多,要想不被环境淘汰就只有不断提升自己,从来都是我们去适应环境,而不是环境来适应我们!

当程序员容易,当一个优秀的程序员是需要不断学习的,从初级程序员到高级程序员,从初级架构师到资深架构师,或者走向管理,从技术经理到技术总监,每个阶段都需要掌握不同的能力。早早确定自己的职业方向,才能在工作和能力提升中甩开同龄人。

想要拿高薪实现技术提升薪水得到质的飞跃。最快捷的方式,就是有人可以带着你一起分析,这样学习起来最为高效,所以为了大家能够顺利进阶中高级、架构师,我特地为大家准备了一套高手学习的源码和框架视频等精品Android架构师教程,保证你学了以后保证薪资上升一个台阶。

当你有了学习线路,学习哪些内容,也知道以后的路怎么走了,理论看多了总要实践的。

高级UI,自定义View

UI这块知识是现今使用者最多的。当年火爆一时的Android入门培训,学会这小块知识就能随便找到不错的工作了。

不过很显然现在远远不够了,拒绝无休止的CV,亲自去项目实战,读源码,研究原理吧!

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

统化学习资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618156601)**

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 10
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值