python
文章平均质量分 62
.含笑.
人生是一团欲望,欲望不满足就痛苦,满足了就无聊。
展开
-
Protobuf安装和使用——Python
Protobuf安装和使用——Python。原创 2022-07-25 15:05:22 · 6767 阅读 · 1 评论 -
JS逆向加密——B 站弹幕 protobuf 分析
B 站弹幕 protobuf 数据分析原创 2022-07-22 15:29:35 · 1085 阅读 · 0 评论 -
环境配置——Crawlab部署教程
Crawlab部署教程1. 部署的方式部署的方式很多种,我这里用最简单的docker部署,没有安装的可以先安装docker2. 下载 Crawlaw镜像安装完docker后,直接下载crawlab镜像docker pull tikazyq/crawlab:latest3. 安装 Docker-Compose安装 docker-compose 其实比较简单,在安装了 pip 的情况下(Python 3),执行以下命令。pip3 install docker-compose4. 安装并启动原创 2021-09-23 11:53:14 · 2415 阅读 · 1 评论 -
问题集——解决爬虫中中文编码问题
解决爬虫中中文编码问题您的访问出错了result = chardet.detect(response.content)["encoding"] # 或返回值的 content 二进制值的编码 res_html = response.content.decode(result) # 改变 字符串编码 print(res_html) # 再次打印 已经没有乱码了 .原创 2021-09-16 11:16:07 · 181 阅读 · 0 评论 -
问题集——Flask开发HTML接入谷歌验证人机验证遇到问题
1. 本地网址打开问题使用 127.0.0.1 打不开,localhost 可以访问注册recaptcha密钥对的时候,需要填写域名2. 打开后显示密钥的网域无效错误我是本地用window本地测试,linux 参考Win+R打开运行窗口,输入 C:\windows\System32\drivers\etc使用Notepad++或者记事本以管理员身份打开hosts添加一行 IP www.dvwa.com 例如127.0.0.1 www.dvwa.com参考1参考2...原创 2021-09-15 21:28:30 · 462 阅读 · 1 评论 -
unicode 怎么转为 str?
#下面 这是 unicode 格式unicode = u'xffzzzzzz'#把 unicode 转换成 str 字符串格式str = unicode.encode('raw_unicode_escape')print (type(str))#str#上次是转换字符串,这里转换 数字 还会带 非数字的字符如果该unicode中是纯数字的话 :str = unicode.encode('raw...原创 2018-03-06 15:39:11 · 11202 阅读 · 0 评论 -
JS逆向加密——Base64方法的处理
JS逆向加密 Base64方法的处理:在Js逆向的过程中经常遇到 window.btoa() /window.atob() : 这是 浏览器内置的Base64 编码和解码 ,第十六题案例,第十九题案例 等等解决方式 :1. 简单字符串使用 Buffer 方法// atob base64 编码var s = new Buffer.from("待解码的字符串", "base64").toString("binary")// btoa base64 解码va...原创 2021-01-02 17:27:20 · 1437 阅读 · 4 评论 -
外星人入侵python的pygame模板
需要一个 飞船和外星人和所以的设置类,还有飞船发射子弹的类,最后也需要一个记录分数的尅,有最高分,和当前分数,每个类都有自己的功能下面是所以每个类的代码:主函数,运行# -*- coding: utf-8 -*-import pygamefrom pygame.sprite import Groupfrom settings import Settingsfrom game_stats...原创 2018-03-04 14:11:12 · 573 阅读 · 0 评论 -
url参数和字典的相互转化
url参数和字典的相互转化目标 url:https://www.baidu.com/s?&wd=python&ie=utf-8将字典转成url参数# 使用urllib.parse的urlencode方法,将字典对象传入返回标准的url参数格式字符串# 1. 将字典转成url参数def dict_to_query(url,params_dict): result = urlencode(params_dict) url_join = url+"?"+result原创 2021-07-16 17:38:00 · 1671 阅读 · 0 评论 -
安卓抓包——ssl_logger-某眼查抓包
ssl_logger-某眼查抓包APP版本:11.4.0_165 ubuntu18 和 win10 Wireshark ssl_logger 使用先用 fiddler抓包,配置代理后是抓不到的,APP显示没有网站在用JustMePlus hook网络请求库代码 测试后也是没有用最后用ssl_logger抓包做分析使用1. 先找到 APP包名 可以到 adb常用密令看 adb shell pm list package | grep tian...原创 2021-03-28 18:06:08 · 1246 阅读 · 0 评论 -
爬虫框架——Feapder入门创建项目
框架Feapder介绍 feapder是一款简单、快速、轻量级的爬虫框架。起名源于 fast、easy、air、pro、spider的缩写,以开发快速、抓取快速、使用简单、功能强大为宗旨,历时4年倾心打造。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成,以及完善的爬虫报警机制。框架流程图模块说明:spider框架调度核心 parser_control模版控制器,负责调度parser collector任务收集器,负责从任务队里中批量取任务到内存,以减少爬虫对任务队...原创 2021-03-25 14:19:22 · 10271 阅读 · 7 评论 -
爬虫框架——Scrapy入门创建项目
Scrapy 介绍Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。Scrapy架构图(绿线是数据流向) Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。 ...原创 2021-03-24 13:17:37 · 231 阅读 · 0 评论 -
JS逆向加密——补浏览器环境方式
补浏览器环境方式1,首先要说的肯定是 Proxy 了,直接上代码:window = new Proxy(global, { get: function (target, key, receiver) { console.log("window.get", key, target[key]); if (key=="location"){ location = new Proxy(target[key], { .原创 2021-03-23 08:50:00 · 3556 阅读 · 0 评论 -
JS逆向加密——某物sign参数加密
网址 某鞋网址这个网址是从APP分享出来的,能分享出来打开证明有h5的页面就通过h5的页面来抓取数据打开网址开发者工具分析,找到对应的请求数据,请求分析多请求几次数据,对比一下翻页的效果的参数一哪些变化,1. lastId 每次请求时 是不一样的2. sign 参数是加密后的结果,每次请求也是不一样接下来就是分析这俩个加密的参数和变化逻辑这里 注意观察,上一次请求返回的 lastId 数据就是 下次 请求的参数,在多试几次你会发现,每页的请求参数都是固定的...原创 2021-03-15 12:08:39 · 1508 阅读 · 4 评论 -
JS逆向加密——七麦网analysis参数
七麦网analysis参数加密本文用于学习交流使用,如有侵权,联系删除七麦网址https://www.qimai.cn/rank原创 2021-03-10 09:12:17 · 1081 阅读 · 2 评论 -
猿人学题库十三题——动态css字体加密
猿人学题库十三题——动态css字体加密1. 首先 进入 浏览器的开发者工具, 在 xhr 可以看到 ajax请求数据接口,返回的数据有一个 woff 键,这里就是 woff的base64格式 请求获取 数据后 把 woff键的值 base64解码 保存为tff文件格式2. 解析 woff 文件保存 tff 格式后,用 from fontTools.ttLib import TTFont 读取,在解析的过程可以先 保存为 xml 格式,查看数据每次...原创 2021-03-09 09:27:37 · 690 阅读 · 0 评论 -
JS逆向加密——点评店铺woff字体加密(一)
点评店铺woff字体加密(一)网址 :http://www.dianping.com/shanghai/ch10/g110网页的问题和 数字也用了字体加密,用的是 woff 文件字体格式 ,woff文件名 每天会变化是动态的,也需要从HTML通过css获取引用的css用百度字体编辑器打开看看,...原创 2021-03-05 11:52:11 · 928 阅读 · 0 评论 -
JS逆向加密——点评店铺Svg字体加密(二)
点评店铺Svg字体加密(二)网址 :http://www.dianping.com/shop/F4nE08K09Ptc47y4在网页显示的时候是通过svg图片的内容,通过css的x和y的布局去映射的显示正确的文字这个网页有不同的svg图片 进行映射,数字有数字的svg文件,文字有文字的svg文件,svg文件格式还是会变化的,有俩种格式Svg的来源找到svg文件,点击进入css文件,在css文件中可以找到3个svg文件,目前这个页面用到了俩个svg文件映射,一个电话一个是评论.原创 2021-03-05 11:18:00 · 580 阅读 · 1 评论 -
JS逆向加密——点评店铺详情_token参数(三)
点评店铺详情_token参数网址 :http://www.dianping.com/shop/F4nE08K09Ptc47y4 这个和 美团是一样的 token加密可以在请求地址 找到allReview 的请求链接,请求参数有多个,但是多次请求对比发现只有 token 参数是变化的这些请求都xhr的,也都有token参数,走的是同一个逻辑注意点:这个token不是监测的,是时间过期的 后面测试发送,参数也是随便给的,后端没有判断现在来分析 _token 参数...原创 2021-03-04 15:21:57 · 889 阅读 · 1 评论 -
JS逆向加密——美团店铺详情_token参数
美团店铺详情_token参数网址 :https://sh.meituan.com/meishi/c17/可以在请求地址 找到getPoiList 的请求链接,请求参数有多个,但是多次请求对比发现只有 token 参数是变化的 现在来分析 _token 参数看到getPoiList 请求是 xhr 的ajax发起的请求,我们可以直接在浏览器打上 xhr 的断点,刷新页面会直接断下 断在 JS 后,查看浏览器的调用栈,精准的找到 发起...原创 2021-03-04 11:21:14 · 2253 阅读 · 5 评论 -
Linux _学习——Centos8 安装Python3.8
Linux _学习——Centos8 安装Python3.81. 先更新所有的包文件# 更新 包yum update 2. 安装 gcc和make插件# 下面是 需要的 依赖库yum install gcc gcc-c++yum -y install gcc automake autoconf libtool makeyum groupinstall -y 'Development Tools'yum install -y gcc openssl-deve...原创 2021-01-27 09:40:23 · 808 阅读 · 2 评论 -
Linux _学习——Centos8 gunicorn部署FastAPI项目
参考:https://www.cnblogs.com/cwp-bg/p/8780204.html https://www.uvicorn.org/deployment/#gunicorn https://www.cnblogs.com/mazhiyong/p/13384785.html https://blog.csdn.net/suyancc/article/details/106588589 https://blog.csdn.net/sinat_42483341/article...原创 2021-01-14 17:51:16 · 1826 阅读 · 0 评论 -
猿人学题库第九题——更复杂的动态js加密——日常采坑
猿人学题库第九题——更复杂的动态js加密1. 首先 进入 浏览器的开发者工具,打开就是 无限debugger,这次不能用never pause here 过无线debugger,后面发现无法调试,直至卡死点击 调用栈 ,查看JS 文件,一看很多 'x73\x75\x52' 这些编码字符串,先用 ob反混淆工具 得到 易读的JS(注意把 script 标签去掉)复制 解混淆 后JS代码后,可以直接 搜索到 sign 参数,接下了就打断点调试了2. 调试JS代码...原创 2021-01-11 21:40:24 · 1262 阅读 · 1 评论 -
Linux _学习——Centos8 Python安装虚拟环境
Linux _学习——Centos7 Python安装虚拟环境搭建python虚拟环境1.我们先创建一个隐藏目录.virtualenvs,所有的虚拟环境都放在此目录下 :mkdir /root/.virtualenvs2.安装虚拟环境whereis pip3 # 确认pip:pip3 install virtualenv # 安装 virtualenv pip3 install virtualenvwrapper # 安装 管理包3.配置环境变量,增加..原创 2021-01-09 11:47:41 · 635 阅读 · 0 评论 -
猿人学题库第十题题——请求规律检测2 - headers
猿人学题库第十题题——请求规律检测2 - headers1. 首先 进入 浏览器的开发者工具,可以在 network 的XHR 请求看到数据,把 Headers的 请求参数和顺序保证一致,全部带上,模拟请求可以得到数据少一个参数就会返回其他的无效内容总结 :这题主要就是看Headers的参数和顺序,所有我们的每次请求最好和请求的参数保持全部一致再去模拟请求,免得去找其他的问题。 ...原创 2021-01-04 20:28:29 · 1056 阅读 · 0 评论 -
JS逆向加密——Python执行JS代码的常用2种方式
JS逆向加密:Python执行JS代码的常用2种方式个人觉得 node的方式最后用,写到第一种了,可以解决很多依赖问题和环境问题1. Node.js实际上是使用 Python 的os.popen执行 node 命令,执行 JS 脚本时,只能打印出来,读取打印的结果 首先,确保本地已经安装了 Node.js 环境 修改 JS 脚本,新增一个导出函数 init ,方便内部函数被调用// js 文件代码//计算两个数的和function add(num1, num2) {...原创 2021-01-02 17:47:50 · 1102 阅读 · 3 评论 -
猿人学题库十六题——js加密_表情包+sojson6.0——满天坑
猿人学题库十四题——js加密_表情包+sojson6.01. 首先 进入 浏览器的开发者工具,进去后首先还是 无线debug ,找到 debugg 对应的行数,右击选择 never pause here ,刷新 就不会再此处 停下了进去后找逻辑请求的规律参数,多请求几次,发现 只要 safe 参数在变化,下一步我们就分析 这个参数2. 解析请求参数safe 参数分析,找到 JS 的地方 ,在 进去 JS 代码后,发现 在 ajax请求之前 执行了 一段颜文字代码...原创 2021-01-02 17:06:20 · 1615 阅读 · 2 评论 -
猿人学题库十九题——css加密-雪碧图/数据干扰等——地毯式采坑学习
猿人学题库十四题——css加密-雪碧图/数据干扰等1. 首先 进入 浏览器的开发者工具,打开就是 俩个无线debugg,正常的操作过掉1. 找到 debugg 对应的行数,右击选择 never pause here ,刷新 就不会再此处 停下了虽然 这样过掉了,但是你会 发现 特别异常的卡,(我怀疑浏览器卡关闭重开,电脑卡了重启发现还是一样的),这样根本不好调试 代码,就无法找到 js 的逻辑,(后来发现 虽然用 never pause here过了,但这不是真真的跳过de...原创 2020-12-30 15:22:55 · 34512 阅读 · 4 评论 -
猿人学题库十四题——js_fuck核心代码加密
猿人学题库十四题——js_fuck核心代码加密1. 首先 进入 浏览器的开发者工具,查看 网页Network的请求,多点击几次,查看请求的参数变化,可以看到 就俩个参数 page: 页数 uc: 加密的参数 (每次请求都是不一样的) POST 请求,返回数据是对应的上的2. 解析请求参数想找到请求的JS函数,可以在 请求的Initator栏目里面的找到 js 方法行数点击跳转进去后,可以看到[][(![]+[])[!+[]+!![]+!...原创 2021-01-02 17:52:37 · 1042 阅读 · 0 评论 -
Linux、Windows后台运行Python脚本
Linux、Windows后台运行Python脚本Linux:nohup1. nohup python3 test.py &后台使用Python3运行test.py文件,日志默认输出到当前目录nohup.out或~/nohup.out文件。2. nohup python3 test.py > nohup.out2>&1 &后台使用Python3运行test.py文件,日志全部输出到当前目录nohup.out文件。3. 查看所...原创 2020-12-22 16:03:00 · 206 阅读 · 0 评论 -
安卓逆向——某力播逆向分析(脱壳)
安卓逆向——某力播逆向分析(脱壳)一、环境这一步真的头疼,环境很重要,各种测试,一下是我测试的环境,由于没有真机,就拿虚拟机做测试1. Xposed 2.FDex2 3. fiddler 4. 软件二、抓包通过 fiddler 抓包分析参数可以看到,俩次请求的参数, udid 是一样,可以不用变,timestamp 应该是个时间戳,signature 可以经过某种变化的,也是主要分析的三、脱壳1、查看加固首先对...原创 2020-12-21 21:35:40 · 1339 阅读 · 3 评论 -
猿人学题库十二题——静态css字体加密
猿人学题库十二题——静态css字体加密1. 首先 进入 浏览器的开发者工具,查看 网页上的 数字,这是都什么玩意, ,在看看返回的数据 "    " 又是什么东西看到请求返回的数据也是看不懂的,那就不是js转变或加密了。就应该想到 css 字体上去了,看到 右边的font-family: "fonteditor" !important; css设置,进去看到/static...原创 2021-01-02 17:53:05 · 819 阅读 · 1 评论 -
猿人学题库十一题——人均会解js——采坑式学习
猿人学题库十一题——人均会解jsl1. 首先 进入 浏览器的开发者工具,在 Network 找到 对应的请求,在Response中查看返回的内容(这里注意 一下,会找到俩个challenge/11的请求)2. 模拟请求数据 再次用postman模拟请求,显示要登陆在 请求的Header信息里面 cookie直接复制,或者在 浏览器的 Application 里面的cookie栏,复制 seesionid 参数携带后在请求(这里可以看到 Expires...原创 2020-12-29 17:02:42 · 1569 阅读 · 2 评论 -
猿人学题库第八题——控制台呼出检测-骚操作
猿人学题库第八题——控制台呼出检测-骚操作1. 首先 进入 浏览器的开发者工具,一打开就跳转了,白茫茫一篇1.1 自己打断断下来 第二题的 scipt 断点调试到 页面搜索 windows ,可以看到几个地方,在打几个断点 调试在 控制台 复制 粘贴 打印结果,手动输入有 监测,监测输入 就跳转了。总结 :这题 其实比较简单就是 看你了不了解开发者工具的使用,打断点卡住,调试打印就好了。[分享] 猿人学·爬虫逆向高阶课 ...原创 2021-01-02 17:53:16 · 863 阅读 · 0 评论 -
猿人学题库第七题——请求规律检测——采坑式学习
猿人学题库第七题——请求规律检测1. 首先 进入 浏览器的开发者工具,打开开发者工具找到数据请求,challenge7就是我们要找的数据请求,在查看Prevew就是返回的数据信息,再查看Header信息是个POST请求2. 模拟请求数据再次用postman模拟请求,可以看到 请求返回失败了,没有数据多请求 几次查看,每次challenge7请求前面都有个cityjson请求,这里后台有个请求规律判断,必须请求cityjson之后在请求challe...原创 2021-01-04 20:28:44 · 696 阅读 · 0 评论 -
猿人学题库第六题——session保持检测——采坑式学习
猿人学题库第六题——session保持检测1. 首先 进入 浏览器的开发者工具, 打开开发者工具找到数据请求,challenge6就是我们要找的数据请求,查看Header信息是个POST请求,在查看Prevew是返回的数据信息2. 模拟请求数据 再次用postman模拟请求,可以看到直接返回数据,好的那就没问题,直接撸代码3. 直接撸代码# -*- encoding=utf-8 -*-import requestsimport o...原创 2021-01-04 20:29:50 · 1009 阅读 · 4 评论 -
猿人学题库第二题——简易动态js加密解析
1. 这里是 cookie 爬虫,在进入 网页之前,还好有 debug ,卡住,可以找到 中间生成cookie的js文件,如果没有卡住,怎么找的这个 cookies的JS文件 调试原创 2021-01-04 20:20:12 · 1510 阅读 · 8 评论 -
猿人学题库第一题——无混淆js加密
猿人学题库第一题——无混淆js加密1. 首先 进入 浏览器的开发者工具,进入后直接 查看请求,可以找到 一个json?page=1&count=14的网址,查看response 就是需要的数据,找到了链接2. 模拟请求数据找到了请求,首先模拟请求看看能不能返回数据,我先不写代码了,直接用 postman 模拟请求可以看到,请求的时候是拿不到数据的,把header参数带上也是请求不到数据,多请求几次看看不同请求的参数区别第一次请求 :第二次...原创 2021-01-04 20:29:32 · 995 阅读 · 4 评论 -
猿人学爬虫攻防大赛 | 第五题: js混淆 乱码增强
1. 备注看过不少大佬博客的博客,慢慢摸索出来,有问题欢迎私信一起讨论 题目 --> 猿人学第五题http://match.yuanrenxue.com/match/52.分析抓包一看究竟,按下F12并回车,发现数据接口在这里:...原创 2020-11-11 13:42:42 · 708 阅读 · 1 评论 -
Ubuntu Selenium 安装 chrome 问题!!!
1. 出错信息如下 图: 1. webdriver 和 版本 不一致 根据以下链接 找到 对应浏览器的 webdriver http://npm.taobao.org/mirrors/chromedriver/81.0.4044.69/ 1.1 建立软连接 sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chrom...原创 2020-05-12 10:58:30 · 163 阅读 · 0 评论