python
文章平均质量分 75
it_chenw
这个作者很懒,什么都没留下…
展开
-
某宝滑块ua特征研究
从137版本开始某宝新加了x_82类型滑块,和之前无感验证js类似,不过浏览器特征检测,反调试干扰都增加了不少,变得更有难度,下面稍微讲下研究过程。首先处理大量三目运算符,这个没啥好办法,博主用ast处理的,类似下面这种单步调试,一步走完,完全看不出逻辑,影响调试,处理完成后类似这样,调试的时候舒服多了。阿里系滑块,无感验证和x82滑块研究大体有三处大量检测浏览器指纹。初始化加载collina.js这段js时会自执行一次,调试时关键是循环逻辑单纯执行只有1万多次,其中有根据时原创 2021-01-07 11:50:18 · 5265 阅读 · 3 评论 -
安卓逆向脱壳||Google Protobuf 序列化请求逆向
现在某些app数据加密不仅仅使用常规的加密算法,还会使用一些协议对数据序列化后进行传输,最近就遇到一个采用Google 的 Protobuf 对登录等请求的参数和响应进行了序列化传输,颇费了一番功夫。一、python安装和实现Protobuf的examplewindow10下载安装...原创 2020-07-03 17:15:26 · 1724 阅读 · 0 评论 -
百度企业信用js加密研究
一、简单说明 企业相关信息对于预测企业发展状况十分重要。基于公司业务,最近分析企业信息查询网站,了解了很多相关的网站,有全国企业信用信息公示, 天眼查,企查查,启信宝,水滴信用,百度企业信用,阿土伯等企业查询网站。今天以百度企业信用为例,研究这个网站的js反爬措施二、发现问题 通过在搜索框中输入小米科技有限责任公司,得到企业列表页面 公司详情...原创 2018-08-23 17:39:15 · 4936 阅读 · 9 评论 -
验证码破解-最新滑动验证码
一、简单说明 验证码中极验验证码是做的非常好的一种验证方式,在第三代点选汉字未出现之前,滑动验证码很是流行。现在依然有很多网站在使用。不知什么时候极验似乎对滑动验证码做了小小的改进。之前需要验证时会先出现这种不带滑块和阴影的验证码。拖动或者点击按钮之后,才会出现滑块和阴影,这样仅需要比较两张图形之间差异,就可以计算出需要滑动的距离。但是,现在开始验证时就会出现第二种验证...原创 2018-08-27 01:13:56 · 16511 阅读 · 8 评论 -
验证码破解一
简介爬虫在抓网站数据时,不可避免要和验证码做长久斗争。当然能绕过最好,但是总有绕不过的验证码,此时,对于简单的可以尝试破解,有难度的对接打码平台。现在验证码多种多样,点选,滑动,英文字母组合等,接下来简单的聊一聊英文字母组合中的这两种验证码的破解。 流程识别英文字母组合验证码的一般步骤通常是:加载图片,灰度化,二值化,去除噪点(包括干扰线),字符分割,训...原创 2018-08-02 22:21:20 · 6424 阅读 · 0 评论 -
Python爬虫-JS破解openlaw加密cookie
简单介绍: 最近做研究js混淆加密,以openlaw作为网站进行学习研究。openlaw主页裁判文书栏中有大量案件信息,同时能够为客户提供标准的法律专业知识以及智慧和经验成果。过程中遇到一些反爬措施,记录下来。需要抓取的页面如下:发现问题: 利用chrome浏览器清除cookie模拟第一次访问,发现存在cookie:利用Fiddler抓包解析,用户第一次访问会发...原创 2018-07-27 00:30:42 · 5200 阅读 · 6 评论 -
supervisor进程管理简单使用
好久没写博客了,本人喜欢私下研究和总结技术,但是并不太喜欢发表供给其他人,使用进程管理部署celery分布式爬虫项目已经使用了很久了,今天记录下使用过的技术。希望以后能常写博客。简单介绍: supervisor是一个进程控制系统,python语言开发,目前只支持python2.7.可以监控可控制进程运行,若进程崩溃关闭,它可以自动重启进程。更多介绍可以浏览官方文档:http:...原创 2018-07-26 17:56:00 · 1067 阅读 · 0 评论 -
Linux使用命令行进行服务器文件传输与登录
在工作中将完成的项目打包上传到远程服务器很普遍,当然对于windows而言文件传输可以使用可视化工具xshell,但是开发环境是linux登录远程服务器上传下载文件要用到ssh以及scp命令了。1:查看正在使用的ssh版本号 ssh -V or ssh -Version2:连接远程登录主机 ssh username@remoteserver(ip) or ssh remoteserv原创 2018-01-28 23:19:05 · 1934 阅读 · 0 评论 -
Python中datetime时间戳精确到单位的用法
对于爬虫爬取到的文章存储到数据库时,有时需要到文档发布的时间进行处理。此时要用到datetime将时间精确到某一个单位。# conding=utf8from datetime import datetime, timedeltaimport timea = datetime.now()print(a.strftime("%Y-%m-%d %H:%M:%S")) # 获取当前时间精确到秒原创 2018-01-28 23:45:04 · 15163 阅读 · 0 评论 -
Ubuntu中创建虚拟环境
查看系统是否安装了virtualenvvirtualenv --version安装同一个包的不同版本,后安装的包会把原来安装的包覆盖掉。这样,如同一台机器上两个项目依赖于相同包的不同版本,则会导致一些项目运行失败。sudo pip install virtualenv #安装虚拟环境sudo pip install virtualenvwrapper #安装虚拟环境扩展包2 配置Linu原创 2018-01-31 19:07:46 · 4529 阅读 · 0 评论