本次来看一下达摩盘服务商版的画像数据抓取过程,先随便选取一个人群包进行画像透视,进入到画像页面后,开始抓包
抓包找数据是个细致活,基本就是先找xhr中,找不到再去js中,最后去ws中,这边刚好就在xhr里,可以看到每一个标签都进行了请求才获得数据,那么来分析其中一个包的参数吧
一眼就能看到是个ajax请求,param带着两个暂时不知道是什么的参数,r猜测是随机数,csrfId仔细看的话,之前的包每一个都带着它,那么只要继续往上找,就能找到是从哪里获取的了
再来看看data部分,如果你看到的第一眼是头皮发麻那就对了,这个json写的是真的一言难尽…可能程序员喜欢复杂点吧,这样逼格高,但是别慌,在我无数次比对之后发现,红框中的部分在前面的请求包里是可以获取的
这个请求只要带着人群ID,csrfId就行了
最后来理一下思路,首先需要获取csrfId,然后是获取data部分的json字符串,然后带着这些参数和一个id(标签id)请求即可获取数据,我这边多加了一步,先获取所有标签id,然后遍历获请求,获取数据。ok上代码
下面是运行结果展示