- 博客(54)
- 收藏
- 关注
RSS订阅原创 Python爬虫逆向——某公开数据网站实例小记(二)
经过分析，headers里的内容有加密参数，则我们开始全文找headers。此网站经过分析，可以看出请求网址和参数均无加密，响应内容无加密。真正可以让我们进行学习的则是headers里两个比较明显的参数，可以看出是可以研究的。X-Dgi-Req-Nonce 和X-Dgi-Req-Signature。，可以看到有17处，由于不确定真正位置，因此，我们将17处依次打了断点。可以看到X-Dgi-Req-Nonce 是由l 生成的。重新请求后，依次查看headers断点，可以看到。可以看到请求后，断点会在。
2024-05-14 15:47:08
387
原创 爬虫逆向非对称加密和对称加密案例
在XHR/fetch Breakpoint 进行 新增 当前请求网址，这样重新请求时，即可直接停止，方便进行分析。我们可以往回找一找。其中_0x493352 是data ，并且该方法中很多地方都用到了data。可以看出，请求参数和响应内容均为密文，且不能直观看出是哪一种加密方式。那么我们进行逆向解析，打断点进行分析。某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！且赋予 空对象，但是，经过请求data 中已经有了数据，其中有两个值，密文。第二步：请求页面，并分析请求，进行逆向解析操作。
2024-04-07 18:25:41
546
原创 爬虫逆向sm3和sm4 加密 案例
通过第三步，可以看到断点后重新请求，能够看出 e 和 t 很像参数，但不是很确定，可以先在控制台打印看一下。可以看出很像，但不确定，可以放置。通过观察关键信息得到以下即可(至于为啥能找到，自己悟吧，目前我能力有限无法用言语表达，全是命[一脸无奈])，可以看到headers 里加密的三个参数均能看到。的原本内容是 那一大串dict序列化的 内容(这部分请有缘人自己解析吧，基本复述上述步骤)的参数，且参数为常量(别问我为啥，我也说不好，全凭感觉[一脸无奈])，方法可以看出使用sm4加密，同时可以看到有个。
2024-03-16 17:45:22
591
原创 python爬虫-某公开数据网站实例小记(一)
可以看到第一次请求在响应headers 可以获得set-cookie，同时也可以看到第一次请求后被重定向到指定地址。此网站没有技巧的加密，仅是需要携带cookie和请求格式，因此本文主要进行分析重点的。某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！可以看到出现了三次请求，前两次请求为302 重定向，第三次请求状态为200。第一步：分析页面和请求方式。第二步：请求页面并分析请求。第四步：分析第二次请求，第三步：分析第一次请求。注意这两个参数很重要。第五步：请求目标链接。
2023-12-06 15:09:12
870
原创 小记-使用pychram执行代码出现报错:RuntimeError: lost sys.stdout
1.使用pychram执行代码出现报错:RuntimeError: lost sys.stdout答:pychram出现这个报错大多数是因为文件命名有问题。文件的命名与Python的标准库名一致，并且该命名在许多Python模块中都有输入。因此，当你的文件名与Python内置文件名一致时，就会报错2. ...
2023-12-06 11:38:00
485
原创 python爬虫-某政府网站反爬小记——请求参数base64加密
添加请求网址后几个字符串。添加完网址，清空cooKies后请求，按照图中步骤查看。某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！第三步，查看堆栈中对应每一步在文件中内容。可以看到有请求参数key。第四步，在console下进行测试，可以看到base64 编码。下，也就是当时请求的位置。由此向下，是请求的上一步。第一步，正常分析页面，可以看到请求参数被加密了。第二步， 打断点查看加密方式。第五步，本地请求原字符串base64编码。
2023-10-24 11:23:54
1226
原创 Python爬虫如何解决提交参数js加密
注意！！！！仅做知识储备莫拿去违法乱纪，有问题指出来，纯做笔记记录由于￥%…………&&%#%** 所以！@#￥……&*……*啥也不说直接上代码import execjsjs_jiemi = ''' var token = "J7J82pdS36i87lOT99I75j0k578W1mZy13pInE6n1823ImH78819Enu6l92X32vX938I21k1Q4C535407q71hw97naM82VE12F68i422F42bUKoR3E218g
2023-10-23 17:25:43
202
原创 linux 日常使用命令小记-----持续更新版
按时间查找 -90 是过去90天，/AAAA/BBBB/CCCCCC/DDDD 是路径。按时间查找，并复制到指定路径下。
2023-10-17 11:13:16
66
原创 python-MySQL数据库建表语句(需要连接数据库)转存为Excel文档-工作小记
将create table XXXXXX 转为指定Excel文档。该脚本适用于数据库表结构本地文档记录。
2023-08-02 17:34:59
1312
原创 python爬虫-加速乐cookie混淆解析实例小记
将ob混淆代码另存在.js 文件，使用工具进行解密，成功后把解密后的js代码替换本地.html中的js 内容。将第一次请求拿到的cookie放在请求headers 里再次请求，同时将步骤一里响应内容进行解析。第一次请求：响应内容为混淆后的cookie值，该cookie作用为第二次请求的必要条件；第二次请求：响应内容为混淆后的cookie值，该cookie作用为最终请求的必要条件；本次我使用的fiddle进行抓包，可以直接请求得到响应，响应内容一样。最终请求：响应内容为我们看到的页面内容。
2023-07-28 17:22:48
1549
原创 python爬虫-获取headers(报文头)关键参数实例小记
注意由于是找headers的参数，因此断点打完后要去掉cookie重新请求。某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！但是该参数在js 文件里只有一个，且是个常量，这时候可以看到有个。的附近会出现断点不起作用，这时候可以考虑在在。仅作为笔记记录，如有问题请各位大佬来指导。第三步：打断点（debug）,第一步：请求页面，得到响应。的附近或者该js 文件中搜索。这里可以看到 最后返回一个。，通过查看确定是生产。
2023-07-14 11:26:03
3676
原创 python爬虫-获取cookie实例小记
通过在堆栈处可以看到执行顺序，reload 函数的上一步是匿名函数。第六步：断点处可以看到两个值，分别是_0x23a392和_0x5e8b26。第四步：进入到匿名函数后，可以看到reload（arg2） 说明x=arg2 (加载时间很长，无耐心看不到的哦。_0x5e8b26 这个值进行搜索，可以看到是一个常量（不明白的同学，可以私我或者看图自悟）某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！某XX网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！第一步：请求拿到响应内容。
2023-06-29 17:26:53
1721
2
原创 python爬虫-逆向实例小记-1
从下图可知，f 是key ,h 是偏移量(vi), n 是通过hex 和base64 包装后的一大串内容。第四步：从一大串响应内容到得到页面正常的内容，调用了f m(t)函数, 鼠标放在该位置，会得到相关的.js 文件。某政府网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！某政府网站逆向实例仅作为学习案例，禁止其他个人以及团体做谋利用途！第三步：通过手动进行下一步会得到每一步的操作后的内容(与调试debug是一样的)第六步：一步一步执行，就可以看到从“乱码”到内容的关键过程。
2023-06-20 16:05:42
1138
原创 小记——python requests 请求响应类型 转为 scrapy 请求响应类型
通过这种方式就可以将requests 响应内容嵌在scrapy 框架里用了。
2023-03-15 15:24:14
158
原创 Mac 报错Message: session not created: This version of ChromeDriver only supports Chrome version 79
Python使用selenium 出现上述报错因为ChromeDriver与本地chrome浏览器的版本不一致导致。解决方法步骤一：查看本地Chrome 的版本
2021-10-28 09:36:59
804
原创 Mac 使用brew 安装工具报错 Your CLT does not support macOS 11
解决方法终端输入命令sudo rm -rf /Library/Developer/CommandLineToolssudo xcode-select --install删掉原来的CLT，重新下载。由于本人小白，按照提示也更新了所有应用(包括系统)，更新时间较长。只需要在终端输入上述命令即可。...
2021-06-10 14:44:39
1122
原创 企业微信添加群机器人并向群里发布消息
背景在开发时出现一些需要实时监控的任务，类似服务器挂了，执行脚本未按时执行，报错日志展示等。需要及时通知，以免造成重大损失。配置企业微信群机器人企业微信有对外开放的api 接口，只要配置相关参数即可使用步骤1：创建企业微信机器人的webhook地址 1:打开企业微信——点击群聊标志???? 2:进去聊天信息界面之后，点击"群机器人" 3:进去之后，可以看到机器人支持Webhook协议，配置好之后，可以将业务信息推送到群里...
2021-06-03 15:04:39
3083
原创 Python对比两个文件夹中文件并筛选出差异文件
import osimport shutildef diff_file(path1, path2): path = '/Users/XXXXX/Desktop/test3' fileName1 = set([_ for _ in os.listdir(path1)]) fileName2 = set([_.replace('.htm', '.pdf') for _ in os.listdir(path2) if '.htm' in _]) diffs = fileNam.
2021-05-27 16:39:21
2487
原创 mongodb studio 3T工具 删除字段
db.getCollection("表名").update({"删选条件":{"$exists":true}},{"$unset":{"删除字段名":""}},{multi:true})# 删除多行 {multi:true} 选择删除单条可以不写# 通用模板db.getCollection("表名").update({删选条件},{"$unset":{"删除字段名":""}},{multi:true})# 举个例子db.getCollection("user").update({"foo...
2021-03-05 10:47:34
1193
2
原创 mysql 指定列转成行
由于项目需要将列得内容当做字段名 select B.projId,B.compName, B.shortName, B.reguInstitution, B.finaAmount,B.preName, B.brokName, B.market as listBoardCode,(case when B.market=101 then '主板' when B.market=201 then '中小板' when B.market=301 then '创业板' when B.market=302 th
2021-01-26 14:40:13
760
1
原创 python 判断当前日期是否为节假日
安装：pip3 install chinesecalendar代码：from chinese_calendar import is_workday, is_holidayimport time, datetimedef is_weekday(date): ''' 判断是否为工作日 ''' Y = date.year M = date.month D = date.day apr
2021-01-18 17:14:06
4041
2
原创 git 遇到Enter passphrase for key ‘/Users/renpeng/.ssh/id_rsa‘
出现-Enter passphrase for key '/Users/renpeng/.ssh/id_rsa'出现这种情况是需要输入，自己当时添加的密码也就是执行下边命令时,要求输入的密码ssh-keygen -t rsa -C "[email protected]"注意: 之前存在 .ssh 文件，则重新执行命令不会出现要求输入密码。这点要知道成功后...
2021-01-08 17:08:40
175
原创 查列表中出现重复的数据及出现次数
因公司业务需要，需要找出文件夹中相同文件名(不考虑文件格式的情况下)fileNameList = [_.split('.')[0] for _ in os.listdir(html_path)]b = dict(Counter(fileNameList))pic_htm = [key for key, value in b.items() if value > 1]htm = [key for key, value in b.items() if value < 2]print(p
2020-09-01 16:29:54
513
原创 找出两个文件夹中不同文件，并另存
# -*- coding:utf-8 -*-import osfrom shutil import copydef main(): pdf_path = r'D:\\pdf_file' html_path = r'D:\\html_file' # 遍历两个路径下的文件 其中.htm的文件进行筛选，和PDF文件内容进行文件名（不含.pdf和.HTML）的对比找出不在对方文件中.pdf文件，保存到另外一个文件中 pdf_list = set([_.split('.')[0] for _ in .
2020-08-27 16:06:27
1181
原创 安装mongodb 发生系统错误 解决方法
报错一：发生系统错误 5。拒绝访问。解决方法：出现上述报错信息，是没有执行权限。需要使用管理员权限执行命令报错二：发生系统错误 2。系统找不到指定的文件解决方法：出现上述报错信息，如果你之前已经装过一次，并且两次安装目录不同，就绝对会碰到的，因为你之前安装的路径已经在注册表中生成了，并没有随着你的卸载而清除。查看方式 win+R--->regedi...
2020-08-20 13:46:20
727
原创 docker中启动mysql容器并用Navicat 进行连接docker 中mysql
启动docker mysql容器1.确认将MySQL镜像拉倒docker中，检查命令docker images 或者 docker image ls 2.启动mysql容器docker run -d --name 容器名(自定义) -v 宿主机路径:mysql镜像中mysql的路径 -e MYSQL_ROOT_PASSWORD=123456 -p 33016:3306 mysql:5.9例子：docker run -d --name dockermysql -v /dvol/my
2020-08-20 11:36:57
1383
3
原创 跨服务器docker镜像打包上传下载操作(不是仓库是内网服务器!!!)
声明！业务需要，跨服务器镜像上传下载操作前提背景，公司大多数服务器不可访问外网，docker镜像无法从远程仓库拉下来，可通过以下方式进行获取步骤一：在可访问外网的服务器内拉取需要的镜像并进行保存，保存成.tar 格式docker save 镜像名:版本号 > /root/镜像名.tar注意：镜像名:版本号 如果不写版本号，则会把所有相同的镜像名进行打包 /root/镜像名.tar 指定保存位置步骤二：SCP 命令上传到指定服务器scp 镜像名.tar 用户名.
2020-08-19 18:17:14
453
原创 踩坑Dockerfile 定制镜像 报错“docker build“ requires exactly 1 argument.
神坑！通过dockerfile定制镜像，构建镜像出现报错"docker build" requires exactly 1 argument.明明是按照教程执行，在dockerfile所在目录执行命令（注意这是错误执行）：$ docker build -t nginx:v3其实不然，执行时没有指定执行所在的路径。正确执行方式$ docker build -t nginx:v3 .注意：这里的“.”表示在当前路径下执行有些教程没有注明，因此可能会被忽略从而报错。...
2020-08-18 16:54:43
1268
原创 mysql 分组查询取某字段前N条数据
参考：https://blog.csdn.net/junzi528/article/details/84404412，https://blog.csdn.net/gz530/article/details/99947417因业务需要，自己需要一个分组排序后取每组数据前两条数据的操作，并且将取出前两条数据作为另一张表的取值范围首先完成分组排序取每组前两条数据操作select aa.rCode,aa.publish, aa.end, aa.cut FROM (select * from pro
2020-07-10 16:47:05
742
原创 Navicat 连接MySQL时提示2059错误
报错：解决方法：mysql> alter user "root"@"localhost" identified by "123456" password expire never;mysql> alter user "root"@"localhost" identified with mysql_native_password by "123456";mysql> flush privileges;重启Navicat 工具...
2020-06-17 14:27:24
131
原创 windows 安装 mysql以及密码设置
步骤一：在windows 上安装mysql参考菜鸟https://www.runoob.com/mysql/mysql-install.html和https://blog.csdn.net/memory6364/article/details/82426052下载：官网下载mysql（https://dev.mysql.com/downloads/mysql/）解压安装：文件下载到本地解压到指定安装路径。我安装在E盘配置文件手动添加配置文件。位置在E盘mysql目录下。我的在
2020-06-17 14:07:40
260
原创 GitHub代码管理工具[email protected]: Permission denied (publickey).报错解决方式
工具：github, pycharm报错图片[email protected]: Permission denied (publickey).翻译-->[email protected]:权限被拒绝（公钥）。出现上述报错原因： 客户端与服务端的ssh key不匹配 客户端与服务端未生成 ssh key登录上Github查看sshkey是否存在，如果存在，那么可以判断当前客户端与服务端sshkey不匹配，如果不存在则生成该客户端与服务端的ssh key...
2020-05-19 15:19:24
1179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人