手淘x-sign
现在很多数据业务仅仅靠pc端接口的支撑已经不能满足大家的需求了,手机端的爬虫是大势所趋。但是相比于pc端的爬虫,手机端的爬虫很麻烦,选择抓包工具,设置代理,root手机,安装xposed,甚至还有app的反编译等,很多人望而却步。
个人研究了一段app爬虫,有一些小小的收获,当然比不上能够反编译、利用汇编分析apk的大牛,但是已经可以应付一些app爬虫业务了。
比如淘宝直播app的数据展示:
抓包结果:
x-sign的获取:
爬到的数据:
目前用这套方法可以完全应对公司的日常爬取,有了获取x-sign这个核心,所有的需求就只是爬虫业务逻辑的开发了。