Python进阶篇：百度指数解密【抓包 JS逆向 数据区分】

目录

• 前言
• • 工具准备
    • 采集目标地址
    • 项目需求分析
    • 项目思路解析
    • • 第一步 区分数据类型
        • 第二步 抓包获取数据
        • 第三步 js代码逆向
    • 简易代码分享

采集目标地址

项目需求分析

需要通过代码来获取到当前网页上的曲线指数数据

这是单独一个点，需要取出所以点的数据信息

项目思路解析

第一步 区分数据类型

我们获取的数据有静态和动态两种，首先区分是静态还是动态数据，在页面鼠标右击点击查看网页源代码，在源代码页面来进行搜索看看我们的数据是否是存在与静态页面上的

可以看到我们的数据并没有在页面上可以得出我们想要的数据为动态数据

第二步 抓包获取数据

动态数据的获取我们需要使用抓包的方式来进行获取，在浏览器页面鼠标右击点击检查，打开我们的抓包工具，点击network，选择xhr选项，xhr为筛选的动态数据，刷新页面，现在展示的就是动态数据

定位到我们想要的数据，要是不太熟练的可以一个个去进行确认看看那个数据是我们想要的，大致可以判断出我们想要的数据是在当前这个请求包里面

但是这个数据比较特殊，怎么看这个数据都不像是我们想获取的坐标点数据，可以由此得出，当前的数据为服务器加载过来的加密json数据，那我们需要考虑的就是如何去找到这个数据的解密位置，一个网页是有html、css、js所组成的，能用来处理数据的只能在js代码里面我们把找到js解密位置的过程就叫做js逆向

第三步 js代码逆向

通过全局来进行搜索定位到我们数据的位置，定位的方式有两种服务器传递的数据为json信息，我们可以直接通过JSON.parse来进行定位，js代码想处理js数据就需要通过这个关键字来转换，再有我们可以通过userIndexes来进行定位，因为前端在取数据的时候一定会根据userIndexes来进行定位

定位到的js文件有两个，感兴趣的可以一个个去进行访问，我们要的数据在第二个文件搜索到我们想要的数据，打上断点在进行解析，看看我们的数据是如何进行处理解密的，可以很直观的看到下方有个decrypt函数大致推断出是我们的解密函数

断点之后重新刷新页面，可以看到解密函数里面传递了两个参数，第二个参数是我们开始抓包得到服务器传递过来的加密数据，第一个参数目前还不是很明确

我们可以去搜索一下第一个传递的参数是什么内容，可以看到我们的数据是另外一个接口请求过来的，第一个参数还需要我们对这个接口再次发送请求

那我们的这个接口如何跟我们前面请求的数据发生关联呢，接口数据请求的网址是根据uniqid来进行获取的


两个参数都明确了，那我们就开始对他的js代码来进行解析，

其实做的事情很简单，根据加密数据的索引来进行重新排列数据，根据索引值，得出最后的曲线上的坐标数据，现在我们需要做的就是把js代码转换成py代码

def decrypt(t, e):
    n = list(t)
    i = list(e)
    a = {}
    result = []
    ln = int(len(n) / 2)
    start = n[ln:]
    end = n[:ln]
    for j, k in zip(start, end):
        a.update({k: j})
    for j in e:
        result.append(a.get(j))
    return ''.join(result)

简易代码分享

本篇文章只用于技术分享，切勿用作其他用途！！

import requests
import sys
import time

word_url = 'http://index.baidu.com/api/SearchApi/thumbnail?area=0&word={}'
headers = {
    'Cipher-Text': '你的数据',
    'Cookie': '你的cookie',
    'Host': 'index.baidu.com',
    'Referer': 'https://index.baidu.com/v2/main/index.html',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36',
    # 'X-Requested-With': 'XMLHttpRequest',
}


def decrypt(t, e):


**（1）Python所有方向的学习路线（新版）**  

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**