- 博客(31)
- 收藏
- 关注
RSS订阅
1原创 CTF&爬虫：掌握这些特征，一秒识别密文加密方式
掌握这些特征，一秒识别密文加密方式前言爬虫工程师在做加密参数逆向的时候，经常会遇到各种各样的加密算法、编码、混淆，每个算法都有其对应的特征，对于一些较小的网站，往往直接引用这些官方算法，没有进行魔改等其他操作，这种情况下，如果我们能熟悉常见算法的特征，通过密文就能猜测出使用的哪种算法、编码、混淆，将会大大提高工作效率！在 CTF 中通常也会有密码类的题目，掌握一些常见密文特征也是 CTFer 们必备的技能！本文将介绍以下编码和加密算法的特征：编码：Base 系列、Unicode、Esca
2022-10-10 14:18:23
526
原创 requests和scrapy请求同样的页面接口，返回的数据不一样问题
requests和scrapy请求同样的页面接口，返回的数据不一样问题；实际是cookie要求传参的格式不一样
2022-07-18 23:14:05
1172
原创 url去重的几种方式
Set 集合天生具备不可重复性，使用它只能存储值不相同的元素，如果值相同添加就会失败，因此我们可以通过添加 Set 集合时的结果来判定 URL 是否重复通过研究java的set集合底层源码可以知道，Set底层是Hash来实现的，Hash类型是散列，所以是无序的。以传入的值作为key值，PERSENT作为value来存储到map中，如果key值相同，将会覆盖，这就是set为什么能去重的原因（key相同会覆盖）。Redis Set 集合是一个无序的、自动去重的集合数据类型，Set底层用两种数据结构存储，一个是
2022-06-14 17:49:42
1578
原创 有了HTTP，为什么还要RPC？
很长时间以来都没有怎么好好搞清楚 RPC（即 Remote Procedure Call，远程过程调用）和 HTTP 调用的区别，不都是写一个服务然后在客户端调用么？这里请允许我迷之一笑~Naive！本文简单地介绍一下两种形式的 C/S 架构，先说一下他们最本质的区别，就是 RPC 主要是基于 TCP/IP 协议的，而 HTTP 服务主要是基于 HTTP 协议的。我们都知道 HTTP 协议是在传输层协议 TCP 之上的，所以效率来看的话，RPC 当然是要更胜一筹啦！下面来具体说一说 RPC 服务和 HTT
2022-06-12 22:42:24
125
原创 猿人学2022年App逆向--第七题 quic
QUIC （Quick UDP Internet Connections）是由 Google 从 2013 年开始研究的基于 UDP 的可靠传输协议，它最早的原型是 SPDY + QUIC-Crypto + Reliable UDP，后来经历了 SPDY 转型为 2015 年 5 月 IETF 正式发布的 HTTP/2.0，以及 2016 年 TLS/1.3 的正式发布。2016 年成立，IETF 的 QUIC 标准化工作组启动，考虑到 HTTP/2.0 和 TLS/1.3 的发布，它的核心协议族逐步进化为
2022-06-10 18:53:12
587
原创 python爬虫学习之路
1.搜索引擎（百度、谷歌、360搜索等。）2.伯乐在线3.惠惠购物助手4.数据分析与研究（数据冰山知乎专栏）.5.抢票软件等。1.通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。2.专业介绍：百度百科1.通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。2.聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候
2022-06-08 23:31:08
186
原创 猿人学2022APP逆向--第八题 upx
是upx？upx （一种可执行程序文件压缩器）UPX (the Ultimate Packer for eXecutables)是一款先进的可执行程序文件压缩器，压缩过的可执行文件体积缩小50%-70% ，这样减少了磁盘占用空间、网络上传下载的时间和其它分布以及存储费用。 通过 UPX 压缩过的程序和程序库完全没有功能损失和压缩之前一样可正常地运行，对于支持的大多数格式没有运行时间或内存的不利后果。 UPX 支持许多不同的可执行文件格式 包含 Windows 95/98/ME/NT/2000/...
2022-06-07 17:45:36
474
原创 猿人学App逆向 第二题 so层加密
安卓逆向，so层加密具体so层实操参考：https://blog.csdn.net/tjcwt2011/article/details/1220796614.然后按F5，就可以将汇编代码转换为C代码为什么下面的sign函数有三个传参？很多同学就有疑惑，java层sign函数有一个传参，为什么这边有三个传参，以第三个参数为标准传参，前面两个有可能是JNIEnv、j......
2022-06-05 22:23:02
947
原创 pipreqs（找当前项目依赖的包）
1.安装pipreqs可以帮你找到当前项目的所有组件及其版本。就是当别人给你一个程序的时候，你要在自己电脑上运行起来，就需要安装程序所依赖的组件，总不能自己一个一个找吧。# 安装pip3 install pipreqs2.使用步骤# 使用步骤 1.在项目根目录下执行命令 pipreqs ./ --encoding=utf-8 2.可以看到生成了requirements.txt文件 3.执行下面代码就会把项目用到的所有组件装上 pip3 in
2022-05-22 19:57:28
371
原创 猿人学2022年App逆向--第一题 java层加密
第六题，先搞个unidbg看能不能跑起来加载so是没问题的，动态注册函数地址能跑出来，然鹅调用getDeviceId函数就无穷无尽的报错，patch了半天，先放弃这个方法，转成用frida分析,找到核心加密函数再说so文件扔进ida，简单过一下分析快捷键g，输入0x49ff4[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qlh8LezR-1653216943046)(D:\youdaoyun\qqBF5B470D9BE5B28E891CBD790EE637AD\926
2022-05-22 19:13:11
659
原创 pip3 install XXX加快下载速度
pip3 install XXX加快下载速度通常安装是使用国外的源，所以较慢；我们可以使用国内的源进行提速：TensorFlow官网下载地址：https://pypi.org/project/tensorflow/#files豆瓣源：pip install tensorflow -i https://pypi.douban.com/simple或者：pip install tensorflow-2.3.1-cp38-cp38-win_amd64.whl -i https://pypi.dou
2022-05-17 14:09:31
626
原创 阿里云linux服务器下安装scrapy2.4.1框架
阿里云linux服务器下安装scrapy2.4.1框架1.下载scrapy框架：wget [https://files.pythonhosted.org/packages/75/0a/2434fb7b8427987429ed4d92e80716b27906fb485dd2b8413f7855b48f59/Scrapy-2.4.1.tar.gz]2.解压：tar -vxzf Scrapy-2.4.1.tar.gz3.进入Scrapy路径cd Scrapy-2.4.14.安装incremental
2020-12-16 16:16:53
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人