- 博客(233)
- 资源 (31)
- 收藏
- 关注
RSS订阅原创 python3爬虫进阶js逆向学习（十二）
目的目的：JS逆向的学习与交流目标：分析去哪儿m参数目标网址：https://m.flight.qunar.com/h5/flight/// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览二、请求参数分析#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/7/12 15:21import timeimport hashlibdef get_
2021-07-12 18:55:08
936
2
原创 python3爬虫进阶JS逆向学习（十一）
目的目的：JS逆向的学习与交流目标：分析咪咕音乐参数目标网址：https://music.migu.cn/v3// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览二、请求参数分析
2021-07-12 10:47:01
882
原创 python3爬虫进阶JS逆向学习（十）
目的目的：JS逆向的学习与交流目标：分析抖音sign参数目标网址：https://www.amemv.com/share/user/94508298369?sec_uid=MS4wLjABAAAAlCk0D9y9kFybWrD_06F-G7vrujt75VqTD25RImgRtyE// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览二、加密参数分析三、js扣取技术太菜，扣了一天，也没扣好，调试没通过............发现了大佬两年前扣好的js，就直接
2021-07-07 18:27:27
1246
2
原创 python3爬虫进阶JS逆向学习（九）
目的目的：JS逆向的学习与交流目标：分析猿人学js解密目标网址：http://match.yuanrenxue.com/match/1// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览思路分析：1.发送一次请求，需要获取加密参数m2.变更请求页码即可请求不同的数据3.唯一的难点是加密参数m的生成二、加密参数分析三、JS扣取//字符串 Base64 编码函数function Base64encode(str) { return Buffer.fr
2021-07-06 18:55:58
4038
原创 python3爬虫进阶JS逆向学习（八）
目的目的：JS逆向的学习与交流目标：分析猿人学js解密目标网址：http://match.yuanrenxue.com/match/16// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览思路分析：1.发送一次请求，需要获取两个参数，m与t2.变更请求页码即可请求不同的数据3.唯一的难点是加密参数m的生成二、加密参数分析三、JS扣取function d(e) { l = "ABCDEFGHJKMNPQRSTWXYZabcdefhijkmn
2021-07-06 18:30:59
639
2
原创 Python3爬虫进阶JS逆向学习（七）
目的目的：JS逆向的学习与交流目标：分析小说js字体反爬目标网址：https://g.hongshu.com/content/93416/13877912.html// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览通过比较以往的字体反爬，发现均不是，有兴趣可查看下列字体反爬--------------------------------------------python爬虫进阶-大众点评店铺信息（字体反爬-静态映射）https://jia666666.blog.csdn.n
2021-07-02 17:14:53
583
5
原创 Python3爬虫进阶JS逆向学习（六）
目的目的：JS逆向的学习与交流目标：分析某麦数据网站中加密参数analysis目标网址：https://www.qimai.cn/rank// 若有侵权，请联系作者删除，谢谢！思路分析一、内容概览思路分析：1.一共有三个榜单，每个榜单发送一次请求2.每个请求均含有加密参数analysis3.唯一的难点是加密参数的生成二、请求参数分析JS扣取1.断点步进，查看加密参数生成依赖的函数与参数2.在理解的基础上，进行适当删除不必要的js3.需要的参数未知可以在控制台中查询
2021-07-01 18:16:39
569
4
原创 Python3爬虫进阶JS逆向学习（五）
目的目的：JS逆向的学习与交流目标：分析某云音乐网站中加密参数目标网址：https://music.163.com/思路分析一、内容概览二、请求参数分析#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/6/21 11:30import randomfrom Crypto.Cipher import AESfrom binascii import hexl
2021-06-24 17:33:38
510
1
原创 Python3爬虫进阶JS逆向学习（四）
目的目的：JS逆向的学习与交流目标：分析某Q音乐网站中加密参数目标网址：https://y.qq.com/注意：需要登录思路分析一、内容概览思路分析：1.发送请求，搜索指定歌曲。2.对返回的歌单列表，选择其中一个歌曲，提取songmid参数3.基于2中提取的参数，进行二次发送请求4.对二次请求返回的数据提取歌曲下载链接二、请求参数分析get_searchid.jsfunction ve(e, t) { for (var n = "".concat(e).
2021-06-24 16:17:46
481
原创 Python3爬虫进阶JS逆向学习（三）
目的目的：JS逆向的学习与交流目标：分析某我音乐网站中加密参数目标网址：http://www.kuwo.cn/思路分析一、内容概览思路分析：1.发送请求，搜索指定歌曲。2.对返回的歌单列表，选择其中一个歌曲，提取rid参数3.基于2中提取的参数，进行二次发送请求4.对二次请求返回的数据提取歌曲下载链接二、请求参数分析1.全局搜索reqId并没有找到有关js文件2.搜索请求链接中含有的关键词searchMusicBykeyWord需要说明下1.酷我是不验
2021-06-24 12:40:06
910
3
原创 Python3爬虫进阶JS逆向学习（二）
目的目的：JS逆向的学习与交流目标：分析某狗音乐网站中加密参数目标网址：https://www.kugou.com/思路分析一、内容概览思路分析：1.发送请求，搜索指定歌曲。2.对返回的歌单列表，选择其中一个歌曲，提取hash参数与album_id参数3.基于2中提取的参数，进行二次发送请求4.对二次请求返回的数据提取歌词与歌曲下载链接与歌曲名称二、请求参数分析三、流程梳理1.发送第一次请求，传入歌曲名称，构建请求参数，生成加密参数2.对第一次请求返回的数
2021-06-24 10:33:23
555
原创 python3爬虫进阶JS逆向学习（一）
目的目的：JS逆向的学习与交流目标：分析某千音乐网站中sign参数目标网址：https://music.taihe.com/思路分析一、内容概览思路分析：1.发送请求，搜索指定歌曲。2.对返回的歌单列表，选择其中一个歌曲，提取Tsid参数3.基于2中提取的参数，进行二次发送请求4.对二次请求返回的数据提取歌词与歌曲下载链接与歌曲名称难点：参数构造中，唯一存在难点的就是sign的生成二、请求参数分析三、注意1.唯一难点是sign的生成，已经克服2.发送了两个
2021-06-24 09:27:26
848
4
原创 Python3 Json.loads常见错误处理
错误类型1 json.decoder.JSONDecodeError: Invalid control character#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/5/7 16:03import json#TODO 1 json.decoder.JSONDecodeError: Invalid control characters = '{"id":"2261", "tex
2021-05-07 16:46:27
14022
5
原创 python3 Pandas数据转SQL
开发场景： 对df.to_sql()函数入库不满意，改用SQL语句入库#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/4/27 15:35import pandas as pddef df_trans_sql(tablename, df): '''df数据转sql插入语句-存在则忽略 传值： 表名称，df 返回值：拼接后的SQL语句
2021-04-27 17:20:05
1439
原创 python3 多表入库再优化
>>>>场景1：多线程多表入库优化--每个线程对应一张表https://jia666666.blog.csdn.net/article/details/115373369>>>>场景2：基于场景1进行再细分优化1.已知多表入库2.已知每个表的入库方式不同，存在逐条入库与批量入库两大类3.逐条入库分为两种： 3.1 直接入库，触发唯一索引异常，直接跳过，不入库 3.2 入库前检测，数据是否存在，存在则更新状态码+1，新数据状态码为0入库4.批量入
2021-04-26 10:32:56
356
2
原创 Linux_用户管理
一、查看终端用户[root@VM-0-5-centos ~]# whoroot pts/0 2021-04-08 09:37 (119.137.53.189)-------------------------------------------------------用户命 伪终端序号 登录时间 --------------------------------------------------------who 命令其它常用参数参数 说明-a 打印能打印的全部
2021-04-08 14:54:49
270
原创 Python3 多线程多表入库优化
>>>>场景：多线程多表入库优化--每个线程对应一张表#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/31 17:58import timeimport queueimport randomfrom threading import Thread'''任务场景多线程多表入库：原来的入库队列只有一个主队列，队列里的数据，多为连续同属于属于一个表的数
2021-04-01 14:28:20
518
原创 Numpy学习笔记（八）数组索引与切片
数组索引import numpy as np#TODO 1 数组索引a = np.arange(10) # 生成一维数组 0-9print(a)'''[0 1 2 3 4 5 6 7 8 9]'''print(a[1]) #获取索引值为 1 的数据。'''1'''print(a[[1, 2, 3]]) #获取索引值为 1,2,3 的数据。'''[1 2 3]'''a = np.arange(20).reshape(4, 5) #生成4行5列二维数组print(a)'''[[
2021-03-22 16:13:21
417
原创 Numpy学习笔记（七）数学函数
三角函数'''numpy.sin(x)：三角正弦。numpy.cos(x)：三角余弦。numpy.tan(x)：三角正切。numpy.arcsin(x)：三角反正弦。numpy.arccos(x)：三角反余弦。numpy.arctan(x)：三角反正切。numpy.hypot(x1,x2)：直角三角形求斜边。numpy.degrees(x)：弧度转换为度。numpy.radians(x)：度转换为弧度。numpy.deg2rad(x)：度转换为弧度。作用与上radians()相同nu
2021-03-22 16:03:33
1398
原创 Numpy学习笔记（六）随机数
随机数据'''numpy.random.rand(d0, d1, ..., dn) 方法的作用为：指定一个数组，并使用 [0, 1) 区间随机数据填充，这些数据均匀分布'''import numpy as np#TODO 1 [0, 1) 区间随机生成一个指定维度数组a=np.random.rand(2, 5) #生成一个2行5列的二维数组，值随机在[0, 1) 区间.值类型float64print(a)'''[[0.69972014 0.75348206 0.83342597 0.
2021-03-22 15:47:29
1124
原创 Numpy学习笔记（五）数组操作
形状改变import numpy as np# TODO 1 形状改变'''reshape 可以在不改变数组数据的同时，改变数组的形状,numpy.reshape(a, newshape)'''print(np.arange(10).reshape((5, 2)))# 对生成的一维数组改变形状为5行2列'''[[0 1] [2 3] [4 5] [6 7] [8 9]]''''''resize(a，new_shape)：对数组尺寸进行重新设定。'''print(np.arang
2021-03-22 15:29:07
465
原创 Numpy学习笔记（四）数组属性
#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/2/20 16:44import numpy as npa = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])# TODO 1 查看a的值print(a) '''[[1 2 3] [4 5 6] [7 8 9]]'''#TODO 2 查看a的转置print(a.T) '''
2021-03-22 14:14:51
295
原创 Numpy学习笔记（三）创建数组
一、NumPy函数创建'''arange函数作用：在给定区间内创建一系列均匀间隔的值numpy.arange(start, stop, step, dtype=None)'''import numpy as np# 在区间 [3, 7) 中以 0.5 为步长新建数组,数值类型为浮点数data=np.arange(3, 7, 0.5, dtype='float32')print(data)'''[3. 3.5 4. 4.5 5. 5.5 6. 6.5]''''''linsp
2021-03-22 11:58:05
661
转载 nano 学习笔记
安装CentOS：yum -y install nanoDebian：apt-get install -y nano常用指令#新建／打开文件:nano 路径+文件名#保存Ctrl+O#退出Ctrl+X新建/打开文件nano 路径+文件名光标控制移动光标：使用用方向键移动。选择文字：按住鼠标左键拖到。复制、剪贴和粘贴复制一整行：Alt+6剪贴一整行：Ctrl+K粘贴：Ctrl+U1.如果需要复制／剪贴多行或者一行中的一部分，先将光标移动到需要复制／剪贴的文本
2021-03-19 19:13:32
257
原创 python3 Ctrl+C中断程序优化
须知:适用于linux系统，windows系统不支持场景一：执行中断信号后，程序按流程正常退出#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/19 16:34'''已知执行一个程序时，输入Ctrl+C就会中断程序，终止程序模拟场景：一个函数生产数据，生产满100000次时，数据入库，流程结束因特殊原因，紧急要求停止生产数据，如果直接使用Ctrl+C就会中断程序，导致生成的数
2021-03-19 17:58:58
1098
原创 python3 多线程优化
场景一：指定线程数，使其满负荷执行任务，避免线程空闲#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/18 10:22from threading import Threadimport timeimport random'''任务场景一个完整的流程，需要A函数循环执行已知：A的处理时间是动态的，线程数固定原来的执行逻辑：拥有一定数目的线程1.所有的线程，全部执行A函数.
2021-03-18 18:35:07
1524
1
原创 window系统--Python多版本共存
需求系统：win10安装：python3.9 常用python3.7 备用（python3.9不支持一些库等,比如tensorflow）准备下载选定的版本https://www.python.org/downloads/安装正常安装即可记得勾选添加到环境变量-否则手动添加环境变量查看这里是默认安装路径，没有改，参考如下C:\Users\Administrator\AppData\Local\Programs\Python可以看到目前已经安装python3.7pyth
2021-03-05 14:35:14
1444
原创 Python3-URL编码与解码
代码示例#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/2/22 9:23from urllib.parse import quote,unquotestr = "基层表编码"#TODO 1 utf-8编码str_utf=str.encode('utf-8') #默认utf-8，这步，不需要即可print('utf-8编码：'+quote(str_utf))print('默认
2021-03-05 11:29:02
1067
原创 cenos7配置笔记（一）
云服务器配置服务商：腾讯云操作系统：cenos7 64位配置：单核，2G内存，1M带宽，50G硬盘云数据库：mysql5.7-50G硬盘一、更新#升级所有包同时也升级软件和系统内核；yum update -y#安装开发工具包yum groupinstall -y 'Development Tools'#部分依赖问题，这里提前安装解决yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-deve
2021-01-25 17:03:18
376
1
转载 Tmux学习笔记
安装yum install tmux一个tmux会话(session)支持多个窗口(window)， 一个tmux窗口支持多个窗格常用指令#新建会话tmux new -s test //#新建一个名为test的会话#查看会话列表tmux ls //#查看会话#进入窗口tmux a -t test //#进入到名为test的会话#会话后台ctrl+b d //#进入目标会话后按键操作tmux detach //#指令操作#退出/关闭会话Ctrl+D //#方法一进入到目标会
2021-01-25 11:56:03
349
原创 crontab定时任务-笔记
安装$ yum install crontabs //安装$ systemctl enable crond //启用$ systemctl start crond //开机自启#安装成功验证crontab -i //打印提示，输入yes等确认信息服务状态/sbin/service crond start //启动服务/sbin/service crond stop //关闭服务/sbin/service crond restart //重启服务/sbin/service cron
2021-01-22 18:33:35
301
原创 python爬虫进阶-每日一学（图片反爬-雪碧图-2）
目的了解熟悉雪碧图反爬策略详细需求url：http://glidedsky.com/level/crawler-sprite-image-2思路解析一一、审查二、分析[雪碧图-1](https://jia666666.blog.csdn.net/article/details/109199875)如果你看过雪碧图-1,你就会发现，这里的每个数字都是通过x,y坐标及高度宽度的值来实现映射的举例说明接下来需要用到图片切割+OCR图片识别参考：图片反爬-雪碧图https:
2020-12-30 18:18:32
670
原创 python爬虫-selenium安装
前提已安装谷歌浏览器已安装python且环境配置正确个人配置：python3.9.0+谷歌浏览器87.0.4280.88（正式版本）一、查看谷歌浏览器版本复制浏览器打开即可：chrome://settings/help二、谷歌驱动下载打开链接：https://npm.taobao.org/mirrors/chromedriver/选择谷歌浏览器对应版本驱动根据自身系统选择对应驱动三、环境配置pip install selenium 复制驱动到python目录下，
2020-12-29 17:57:55
327
原创 Vim-基本用法笔记
注意:默认已具有Vim的相关知识基础游标移动按Esc进入普通模式，在该模式下使用方向键或者 h，j，k，l 键可以移动游标。按键说明h左l右（小写 L）j下k上w移动到下一个单词b移动到上一个单词插入模式在普通模式下使用下面的键将进入插入模式，并可以从相应的位置开始输入命令说明i在当前光标处进行编辑I在行首插入A在行末插入a在光标后插入编辑o在当前行后插入一个新行
2020-12-29 11:56:52
341
原创 python爬虫进阶-每日一学（滑块拼图）
目的学习更多的python反爬虫策略详细需求url:http://glidedsky.com/level/web/crawler-captcha-1思路解析一、详情查看二、准备在这里插入代码片
2020-11-06 16:26:15
2957
1
原创 python爬虫进阶-每日一学（JS加密）
目的分析JS详细需求http://glidedsky.com/level/web/crawler-javascript-obfuscation-1思路解析一、F12二、解析三、断点调试
2020-11-03 17:54:51
524
原创 python爬虫进阶-每日一学（字体反爬-移花接木）
目的分析与学习更多的字体反爬套路详细需求url：http://glidedsky.com/level/web/crawler-font-puzzle-2思路解析一、审查二、分析import base64from fontTools.ttLib import TTFontfont_face="AAEAAAAKAIAAAwAgT1MvMo8A6VIAAAEoAAAAYGNtYXAtCKrLAAACVAAAA0xnbHlm2H8rpwAABmwAAEq2aGVhZBpfEugAAACs
2020-10-26 11:19:48
18887
原创 python爬虫进阶-每日一学（CSS反爬-偏移+混淆）
目的了解更多的css反爬策略详细需求url：http://glidedsky.com/level/web/crawler-css-puzzle-1思路分析一、审查二、分析以上三种情况可以自由结合：1.css混淆+css偏移2.css混淆+before处理等等三、具体逻辑有点懒，见源码四、汇总1.请求源网页2.正则获取col-md-1每组数据3.获取每组数据下的所有cls为列表4.cls列表值判定处理，根据判定结果进入CSS处理逻辑或者before处理逻辑5
2020-10-23 18:08:51
707
原创 python爬虫进阶-每日一学（图片反爬-雪碧图）
目的了解熟悉雪碧图反爬策略详细需求url：http://glidedsky.com/level/crawler-sprite-image-1思路解析一、审查二、分析通过观察雪碧图，发现数字有大有小，那么是否有不一样的逻辑呢小数字处理大数字处理首先，我们知道css限定了宽高，通过观察，发现高相同为15px，那么如何才能表现为大呢，那么只有宽数值越大，字体显示越大三、汇总1.源网页请求2.获取css链接3.正则提取所有类及宽高位置信息4.雪碧图的值是固定的为0
2020-10-21 14:44:51
2424
原创 python爬虫进阶-每日一学（字体反爬-真假李逵）
目的熟悉更多的字体反爬策略详细需求本文以其中一个为案例推荐一个爬虫学习网站：http://glidedsky.com/url：http://glidedsky.com/level/web/crawler-font-puzzle-1思路解析一、F12二、字体源查看-保存本地#!/usr/bin/env python# -*- coding: utf-8 -*-# @Author : jia666# @Time : 2020/10/21 11:12import bas
2020-10-21 12:42:20
764
3D电子相册.zip
2020-08-25
Python 实战-从菜鸟到大牛的进阶之路（高清彩色pdf）
2018-08-19
python网络编程基础（高清pdf）
2018-08-19
python网络数据采集 高清pdf
2018-08-19
pyqt5快速开发与实战（源码）
2018-08-08
python从入门到实践pdf+源码
2018-08-06
python文本解析器
2018-08-06
python实现个性二维码
2018-08-06
学习笔记（python）
2018-07-27
简单的文字聊天室
2018-06-27
AST反混淆js还原工具2.3(20231219)
2023-12-19
AST反混淆js还原工具2.2(20230203)
2023-02-03
AST反混淆js还原工具2.0.zip
2022-04-20
AST反混淆js还原工具.zip
2021-09-23
密码学大作业.zip
2019-06-18
python实现的ping工具
2018-12-25
2018网络工程师考前必看考点
2018-11-07
Ubuntu18.04 网易云音乐
2018-09-23
2018网络工程师资源完整版
2018-09-19
简单的英汉互译（request+pyqt5）
2018-09-03
python全栈资源（详解视频+课件代码）
2018-09-01
ProxyPool地址池
2018-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人