2024年Python最全Python进阶篇:百度指数解密【抓包 JS逆向 数据区分】

过往给大家更新了不少基础相关的,今天给大家上点硬货,基础不好的慎入,免得打击你们的积极性~

其次对数据分析|数据可视化|pandas感兴趣的可以来这里刷刷题: →→→《Pandas狂刷120题》←←←

工具准备

开发工具:pycharm
开发环境:python3.7, Windows10
使用工具包:requests

目录

采集目标地址

image.png

项目需求分析

需要通过代码来获取到当前网页上的曲线指数数据
image.png
这是单独一个点,需要取出所以点的数据信息

项目思路解析

第一步 区分数据类型

我们获取的数据有静态和动态两种,首先区分是静态还是动态数据,在页面鼠标右击点击查看网页源代码,在源代码页面来进行搜索看看我们的数据是否是存在与静态页面上的
image.png
可以看到我们的数据并没有在页面上可以得出我们想要的数据为动态数据

第二步 抓包获取数据

动态数据的获取我们需要使用抓包的方式来进行获取,在浏览器页面鼠标右击点击检查,打开我们的抓包工具,点击network,选择xhr选项,xhr为筛选的动态数据,刷新页面,现在展示的就是动态数据
image.png
定位到我们想要的数据,要是不太熟练的可以一个个去进行确认看看那个数据是我们想要的,大致可以判断出我们想要的数据是在当前这个请求包里面
image.png
但是这个数据比较特殊,怎么看这个数据都不像是我们想获取的坐标点数据,可以由此得出,当前的数据为服务器加载过来的加密json数据,那我们需要考虑的就是如何去找到这个数据的解密位置,一个网页是有html、css、js所组成的,能用来处理数据的只能在js代码里面我们把找到js解密位置的过程就叫做js逆向

第三步 js代码逆向

通过全局来进行搜索定位到我们数据的位置,定位的方式有两种服务器传递的数据为json信息,我们可以直接通过JSON.parse来进行定位,js代码想处理js数据就需要通过这个关键字来转换,再有我们可以通过userIndexes来进行定位,因为前端在取数据的时候一定会根据userIndexes来进行定位
image.png
定位到的js文件有两个,感兴趣的可以一个个去进行访问,我们要的数据在第二个文件搜索到我们想要的数据,打上断点在进行解析,看看我们的数据是如何进行处理解密的,可以很直观的看到下方有个decrypt函数大致推断出是我们的解密函数
image.png
断点之后重新刷新页面,可以看到解密函数里面传递了两个参数,第二个参数是我们开始抓包得到服务器传递过来的加密数据,第一个参数目前还不是很明确
image.png
我们可以去搜索一下第一个传递的参数是什么内容,可以看到我们的数据是另外一个接口请求过来的,第一个参数还需要我们对这个接口再次发送请求
image.png
那我们的这个接口如何跟我们前面请求的数据发生关联呢,接口数据请求的网址是根据uniqid来进行获取的
image.png
image.png
两个参数都明确了,那我们就开始对他的js代码来进行解析,
image.png
其实做的事情很简单,根据加密数据的索引来进行重新排列数据,根据索引值,得出最后的曲线上的坐标数据,现在我们需要做的就是把js代码转换成py代码

def decrypt(t, e):
    n = list(t)
    i = list(e)
    a = {}
    result = []
    ln = int(len(n) / 2)
    start = n[ln:]
    end = n[:ln]
    for j, k in zip(start, end):
        a.update({k: j})
    for j in e:
        result.append(a.get(j))
    return ''.join(result)

简易代码分享

本篇文章只用于技术分享,切勿用作其他用途!!

import requests
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!



### 一、Python所有方向的学习路线



Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、全套PDF电子书



书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

![](https://img-blog.csdnimg.cn/img_convert/46506ae54be168b93cf63939786134ca.png)



### 四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)



### 五、实战案例



光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。



![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)



### 六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。



![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)  

![](https://img-blog.csdnimg.cn/img_convert/d2d978bb523c810abca3abe69e09bc1a.png)




**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
  • 11
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值