Python采集群人员数据，记录JavaScript逆向分析过程(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Web前端全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注前端）

正文

分析（x2）

分析（x3）

代码

结语

---

前言

==

本人所有文章内容、源码，除官方企业外，禁止个人转载，谢谢配合。

…太多培训机构拿我的文章源码去讲公开课了，还有很多培训机构的招生员拿我源码自己编个小故事直接就是一篇文章（但凡这种都是一大堆废话+源码，毫无分析逻辑）。

大家好，我叫善念。有大概一月没有来更新博文了，一个原因是反响并不理想，第二个原因则是每篇文章都是现写的，花费的时间并不少。

在这里真心感谢一直在支持我的那几个粉丝，谢谢你们的持续关注点赞。

准备工作

========

使用到的模块

from selenium import webdriver

import json

import requests

import execjs

import jsonpath

模块的安装

主要利用到这五个模块，其中json为内置模块，其它均为第三方模块。安装方式如下所示：

pip install selenium

pip install requests

pip install PyExecjs

pip install jsonpath

插件的安装

关于selenium这个模块，咱们来重点介绍一下：

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

如果不能够理解我就讲点白话，如果你是web开发人员，开发好了几百个网站，那么如果你认为的去一个个的测试BUG，是不是很浪费时间？而selenium这个框架就是用来模拟人去自动化操控浏览器的，那么是不是就节约了很多时间呢。

既然selenium能够操控浏览器，那么它们之间必须要有一个桥梁，总不能无中生有吧？

那么操控的浏览器款式不一样，中间的桥梁也是不一样的。比如我更喜欢用chrome浏览器，那么咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件

下载地址

下载与你当前谷歌浏览器版本最相近的Chromedriver

那么像我的话，下载 即可。

Windows系统需下载32位，其它的自己看着办。点进去下载win32即可。

那么如何让Python与selenium连接起来呢，这里咱们需要配置一个环境变量，就是把Python与selenium处于同一个目录：

到此为止，咱们的环境就搭建好了。

分析（x0）

======

进入咱们的目标网站：目标网站

点击登录后点击群管理：

再点击成员管理，进入咱们的数据页面：

在这个页面可以看到有很多的群，我们随便点击一个就可以看到当群的成员数据：

可以看到咱们的群的号码其实就在当前网页的url中…不难想到它的url就是随咱们的群的号码变化的。

以此群为例，咱们看下网页源代码中是否包含咱们的数据，直接搜一下自己的号码即可，因为我自己是肯定在群当中的嘛：

emmm什么都没有，再去网页元素中看一下吧：

网页元素中是有的，一个tr标签保存了一个成员信息。不过我群里九百多个人，为什么右边的进度条这么粗…

说明什么？异步加载咯，经常说到得瀑布流，当我们拉动下滑条的时候才会刷新出更多得成员数据

明显看得到吧，当我们拉动下滑条后，元素中的元素变多了，那个进度条变短了。

分析（x1）

======

那么就可以总结出来思路了，就是当我们用selenium模拟人打开一个浏览器，然后我们登录、点开群管理、找到需要采集的群点击（或者直接进入到当前群的url也是可行的）、最后就是拉动下滑条然后用selenium从网页元素上爬取数据咯。

应该不难理解吧，这其实就是我们刚才人为做的一个事情。我只是用selenium代替我们人去模拟这个事情再做一遍。

而我反复强调过：selenium的速度太慢太慢，尽量不要去使用它！

那么怎么办？抓包呗，网页源代码中没有数据，而下拉滑动条后网页元素中出现了该数据，不就是说明当我们拉动下滑条就执行了一些JavaScript脚本或者一些接口从而产生了数据？

数据也是不可能无中生有的，总有个来源，咱们监听下服务器与客服端的一个交流过程：

刷新当前网页抓包后，可以看到咱们抓的包当中生成了0-20就是21条数据，然后再看看这个包需要的参数：

是一个post请求，然后参数的话…gc貌似就是群的号码，然后st为0、end为20啥的估计就是说0-20总共21条数据吧，bkn…大头菜，明显不是一个时间戳，按道理是JavaScript加密。

我们再拉动点滑动条往下面拉，再抓一个包看看有没有什么参数发生变化：

果然0-20就是代表一个数据的排序，比如我第一个包是0-20是前面的21条数据，那么第二个包当然就是21-41了。

果然，第三个包也是按21的步差来的，而sort为零不变，bkn也不变。

分析（x2）

=======

走吧，开始去分析咱们的bkn是如何生成的：

上次有人问我，这个玩意该怎么搜…我这里告诉你们了，先点一下那三个点，然后点击search：

可以看到就一个JS文件中包含bkn，简直完美了，事情变得越来越简单。

请不要遇到JavaScript加密就闹心，静下心来好好看看

o.data.bkn

o字典里面的data里面的bkn就是个嵌套而已，也就是说明bkn属于o字典里面的一个键，然后它居然赋值给了一个函数function，注意看结尾用了一个()啥意思？

把把函数赋值给一个变量bkn，然后调用该函数。说明什么？bkn就为函数中return的值呀…是不是很简单？看不懂多看几遍。

函数里面的话就是个循环咯，当条件不满足时就一直加，知道条件满足为止。看不懂可以去学学基本的JavaScript语法，不学也问题不大，咱们直接抠JavaScript代码也行。

for (var e = $.cookie(“skey”), t = 5381, n = 0, o = e.length; n < o; ++n)

t += (t << 5) + e.charAt(n).charCodeAt();

return 2147483647 & t

e为cookie中"skey"键所对应的值，o为e这个字符串的长度，n起始值为0…居然都是已知数据，压根没有变量，那么咱们看看skey对应的值是啥：

好像问题是已经解决了吧，那么咱们来测试一下：

看下与咱们的post参数是否相同：

emmmmm，大功告成拉！

分析（x3）

=======

总结下思路：

1.利用selenium打开浏览器然后登录

2.获取cookies保存（后期用来解密bkn的）

3.解密JavaScript

总结

• 框架原理真的深入某一部分具体的代码和实现方式时，要多注意到细节，不要只能写出一个框架。

• 算法方面很薄弱的，最好多刷一刷，不然影响你的工资和成功率😯

• 在投递简历之前，最好通过各种渠道找到公司内部的人，先提前了解业务，也可以帮助后期优秀 offer 的决策。

• 要勇于说不，对于某些 offer 待遇不满意、业务不喜欢，应该相信自己，不要因为当下没有更好的 offer 而投降，一份工作短则一年长则 N 年，为了幸福生活要慎重选择！！！

喜欢这篇文章文章的小伙伴们点赞+转发支持，你们的支持是我最大的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注前端）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
一份工作短则一年长则 N 年，为了幸福生活要慎重选择！！！

喜欢这篇文章文章的小伙伴们点赞+转发支持，你们的支持是我最大的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注前端）
[外链图片转存中…(img-gbnjnGcF-1713379519828)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！