转转app逆向,并做爬取自动化的一些思路

博主分享了在尝试爬取转转APP数据时遇到的挑战,包括模拟访问数据不全和Retrofit框架解析困难。通过混合前两种思路,最终成功获取数据。目前实现了关键词搜索功能,计划加入更多参数以实现自动化。博主期待与同行交流优化方案。
摘要由CSDN通过智能技术生成

声明:

本文仅做学习交流使用。

最近很多朋友问到转转APP爬虫有没有做,所以又拿起了原来做了一半的程序,重新开始研究转转APP。

原来做过一半,只是能拿到数据,无法做到自动化抓取。当时因为需要的人不多,市场小,就停了下来。

转转app采用Retrfit2+okHttp3的访问方式,因为架构封装的原因,很难有一个好的思路来切入,这也是市面上很少有人做的原因:

数据包:

1、模拟访问,总好像有些数据不太对,访问得不到数据,或者数据不太对。

可以明显看到数据不太对

2、第二思路是直接解析Retrofi框架,利用现有框架直接访问转转服务器。

但转转官方的访问太复杂,没有实现得了。

3、将前面两个思路折中考虑,混合开发,竟然成功了。

目前可以正常获取相关数据,只是输入的参数只有关键词,还需要加入更多参数,方可用于自动化使用。

 不知道同样做相关开发的同学们,有没有更好的思路,可以做相关功能的进一步升级。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值