Python采集群人员数据,记录JavaScript逆向分析过程

本文介绍了使用Python进行Web数据采集的过程,特别是针对含有JavaScript动态加载的数据。通过分析目标网站,作者揭示了如何利用Selenium模拟用户行为,结合抓包工具发现数据接口,并对JavaScript加密函数进行逆向分析,最终实现自动化爬取群成员信息。文章详细阐述了每个步骤,并提供了相关的Python代码。
摘要由CSDN通过智能技术生成

 目录

前言

准备工作

分析(x0)

分析(x1)

分析(x2) 

分析(x3) 

代码

结语


前言

        本人所有文章内容、源码,除官方企业外,禁止个人转载,谢谢配合。

        ....太多培训机构拿我的文章源码去讲公开课了,还有很多培训机构的招生员拿我源码自己编个小故事直接就是一篇文章(但凡这种都是一大堆废话+源码,毫无分析逻辑)。

        大家好,我叫善念。有大概一月没有来更新博文了,一个原因是反响并不理想,第二个原因则是每篇文章都是现写的,花费的时间并不少。

        在这里真心感谢一直在支持我的那几个粉丝,谢谢你们的持续关注点赞。

准备工作

使用到的模块

from selenium import webdriver
import json
import requests
import execjs
import jsonpath

模块的安装

主要利用到这五个模块,其中json为内置模块,其它均为第三方模块。安装方式如下所示:

pip install selenium
pip install requests
pip install PyExecjs
pip install jsonpath

插件的安装

关于selenium这个模块,咱们来重点介绍一下:

        Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。

        如果不能够理解我就讲点白话,如果你是web开发人员,开发好了几百个网站,那么如果你认为的去一个个的测试BUG,是不是很浪费时间?而selenium这个框架就是用来模拟人去自动化操控浏览器的,那么是不是就节约了很多时间呢。

既然selenium能够操控浏览器,那么它们之间必须要有一个桥梁,总不能无中生有吧?

        那么操控的浏览器款式不一样,中间的桥梁也是不一样的。比如我更喜欢用chrome浏览器,那么咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件

下载地址

下载与你当前谷歌浏览器版本最相近的Chromedriver

那么像我的话,下载 即可。

Windows系统需下载32位,其它的自己看着办。点进去下载win32即可。

那么如何让Python与selenium连接起来呢,这里咱们需要配置一个环境变量,就是把Python与selenium处于同一个目录:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值