it_chenw-CSDN博客

原创关于Incapsula reese84加密的特征研究

最近研究了下reese84的加密算法，基本上两个参数的加密__utmvc和token，因为nodejs调用会有内存问题，没有采用补环境的方式解决，用python扣的算法。2:reese84中token的生成相对麻烦一点，主要是动态参数比较多，ast处理完之后也很好调试。1:__utmvc参数的生成是一个ob混淆，ast处理之后调试难度不是很大。如果有侵权行为请联系博主删除。博主qq：1458342294。

2023-09-02 00:03:07 1515

原创安卓逆向脱壳||Google Protobuf 序列化请求逆向

现在某些app数据加密不仅仅使用常规的加密算法，还会使用一些协议对数据序列化后进行传输，最近就遇到一个采用Google 的 Protobuf 对登录等请求的参数和响应进行了序列化传输，颇费了一番功夫。一、python安装和实现Protobuf的examplewindow10下载安装...

2020-07-03 17:15:26 1801

原创今日头条最新signature

最新今日头条sign加密更新了，抽时间看了看，比上次的加密难度增加了许多。接下来讲下加密流程。今日头条获取下一页面的数据时断点位置我们只需要找到window.byted_acrawler的生成就可以了。用fiddler拦击服务器返回的的response并添加debugger;调试之后会定位到服务器返回的https://sf1-ttcdn-tos.pstatp.com/obj/t...

2020-05-23 10:12:25 12568 23

原创验证码破解-最新滑动验证码

一、简单说明验证码中极验验证码是做的非常好的一种验证方式，在第三代点选汉字未出现之前，滑动验证码很是流行。现在依然有很多网站在使用。不知什么时候极验似乎对滑动验证码做了小小的改进。之前需要验证时会先出现这种不带滑块和阴影的验证码。拖动或者点击按钮之后，才会出现滑块和阴影，这样仅需要比较两张图形之间差异，就可以计算出需要滑动的距离。但是，现在开始验证时就会出现第二种验证...

2018-08-27 01:13:56 16639 8

原创百度企业信用js加密研究

一、简单说明企业相关信息对于预测企业发展状况十分重要。基于公司业务，最近分析企业信息查询网站，了解了很多相关的网站，有全国企业信用信息公示，天眼查，企查查，启信宝，水滴信用，百度企业信用，阿土伯等企业查询网站。今天以百度企业信用为例，研究这个网站的js反爬措施二、发现问题通过在搜索框中输入小米科技有限责任公司，得到企业列表页面公司详情...

2018-08-23 17:39:15 4989 9

原创验证码破解一

简介爬虫在抓网站数据时，不可避免要和验证码做长久斗争。当然能绕过最好，但是总有绕不过的验证码，此时，对于简单的可以尝试破解，有难度的对接打码平台。现在验证码多种多样，点选，滑动，英文字母组合等，接下来简单的聊一聊英文字母组合中的这两种验证码的破解。流程识别英文字母组合验证码的一般步骤通常是：加载图片，灰度化，二值化，去除噪点（包括干扰线），字符分割，训...

2018-08-02 22:21:20 6461

原创 Python爬虫-JS破解openlaw加密cookie

简单介绍: 最近做研究js混淆加密，以openlaw作为网站进行学习研究。openlaw主页裁判文书栏中有大量案件信息，同时能够为客户提供标准的法律专业知识以及智慧和经验成果。过程中遇到一些反爬措施，记录下来。需要抓取的页面如下：发现问题：利用chrome浏览器清除cookie模拟第一次访问，发现存在cookie：利用Fiddler抓包解析，用户第一次访问会发...

2018-07-27 00:30:42 5238 6

原创 supervisor进程管理简单使用

好久没写博客了，本人喜欢私下研究和总结技术，但是并不太喜欢发表供给其他人，使用进程管理部署celery分布式爬虫项目已经使用了很久了，今天记录下使用过的技术。希望以后能常写博客。简单介绍： supervisor是一个进程控制系统,python语言开发，目前只支持python2.7.可以监控可控制进程运行，若进程崩溃关闭，它可以自动重启进程。更多介绍可以浏览官方文档：http:...

2018-07-26 17:56:00 1085

原创 Ubuntu中创建虚拟环境

查看系统是否安装了virtualenvvirtualenv --version安装同一个包的不同版本，后安装的包会把原来安装的包覆盖掉。这样，如同一台机器上两个项目依赖于相同包的不同版本，则会导致一些项目运行失败。sudo pip install virtualenv #安装虚拟环境sudo pip install virtualenvwrapper #安装虚拟环境扩展包2 配置Linu

2018-01-31 19:07:46 4566

原创 Python中datetime时间戳精确到单位的用法

对于爬虫爬取到的文章存储到数据库时，有时需要到文档发布的时间进行处理。此时要用到datetime将时间精确到某一个单位。# conding=utf8from datetime import datetime, timedeltaimport timea = datetime.now()print(a.strftime("%Y-%m-%d %H:%M:%S")) # 获取当前时间精确到秒

2018-01-28 23:45:04 15239

原创 Linux使用命令行进行服务器文件传输与登录

在工作中将完成的项目打包上传到远程服务器很普遍，当然对于windows而言文件传输可以使用可视化工具xshell，但是开发环境是linux登录远程服务器上传下载文件要用到ssh以及scp命令了。1：查看正在使用的ssh版本号 ssh -V or ssh -Version2:连接远程登录主机 ssh username@remoteserver(ip) or ssh remoteserv

2018-01-28 23:19:05 1950

原创 Java服务器端结构

数据库连接池：应用程序想要访问数据库中的数据，需要和数据库建立连接。而数据库连接池就是用来负责分配、管理和释放数据库连接，你可以把数据库连接池理解为一把钥匙，而数据库就是锁。没有数据库连接池，应用程序就不方便访问数据库。1)数据库连接池允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个 2)释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数

2017-02-25 14:41:25 4388 2

it_chen的博客