- 博客(9)
- 收藏
- 关注
RSS订阅原创 selenium:模拟登陆模块
一、背景介绍由于业务需要多站点、多账号的登陆数据，定制化登陆费时费力，且不易管理，故对登陆过程进行模板化，通过配置xpath等，实现各平台的登陆，目前已接入输入验证码的识别和滑动验证码的识别，同时使用redis作为消息队列，实现分布式二、整体流程&功能点1、整体流程（1）使用说明通过main.py开启程序，监听redis队列，当redis中存在数据时，将数据取出，并开启sele...
2019-06-14 09:29:26
365
1
原创 python执行js:node.js、pyExecJS、PyV8、Js2Py
一、简介测试js代码时在命令行使用node.js，可发现执行过程中的报错信息，Python中使用pyExecJS、PyV8和Js2Py执行js执行效率：pyExecJS最低，Js2Py最高执行js代码的复杂度：pyExecJS最高，Js2Py最低，一般混淆代码需要pyExecJS来执行二、执行代码1、node.js安装：Mac:brew install node使用：node x...
2019-06-06 08:56:26
2901
1
原创 adsl拨号服务器构建代理池
一、工具准备动态vps: 我用的是云立方的动态vps，0.5G内存，11G硬盘，20G宽带，一年1800元，动态vps主要是搭建代理服务，比较耗宽带，通过拨号来更换IP，实现动态代理的效果固定IP服务器：用的阿里云服务器，1核1G内存，40G云盘，一年836元，该服务器主要是实时获取动态vps的IP，并对外提供接口，这些服务不怎么耗资源，该服务器还可以用来跑爬虫或者搭网站二、环境搭建动...
2019-06-01 17:24:52
2665
1
原创 百度指数-返回结果解密
一、背景目标链接：http://index.baidu.com/v2/index.html#/ ，百度指数，搜索关键字的搜索指数，可以指定时间区间和地域二、过程1、确定加密参数搜索关键字，需要进行登录才可以进行搜索，先进行登录，然后搜索抓包，接口：http://index.baidu.com/api/SearchApi/index?area=0&word=爱奇艺奔跑吧&s...
2019-05-26 20:18:57
4424
原创 bilibili爬虫
搜索页:关键词+指定分区一、背景需求二、需求分析三、整体流程四、总结一、背景需求1、抓取内容：给定关键词，并指定分区，获取该分区下的所有视频，同时，该视频如果是一个合集中的子集视频，则抓取该合集的所有视频2、抓取字段：作者、标题、分区、详情页链接、发布时间、封面图、下载链接、标签、播放量、点赞量、评论量、弹幕量、收藏量二、需求分析1、app端分析抓包后发现，搜索页的接口没有进行加密，将...
2019-05-24 08:49:14
809
原创 中国空气质量在线监测分析平台-js混淆的坑
快音视-视频id加密一、背景二、过程1、确定加密参数2、确定加密函数3、处理js函数3、总结一、背景分析过程参照：https://cuiqingcai.com/5024.html，主要梳理下处理这类js混淆的思路，并记录踩过的坑二、过程1、确定加密参数点进去后抓包，没有明显的数据接口链接，切换一个城市后，发现两个数据接口：https://www.aqistudy.cn/apinew/aq...
2019-05-15 08:44:22
2206
原创 快音视-视频id解密
快音视-视频id加密一、背景二、过程1、确定加密参数2、确定加密函数3、处理js函数3、知识点&踩坑一、背景今天看到一篇破解js混淆的文章，里面针对快音视的视频id加密，做了分析破解（链接：https://www.jianshu.com/p/5c945834270d），刚好闲着无事，也分析一波，记录下自己的采坑经历二、过程1、确定加密参数抓包后发现数据接口：https://kua...
2019-05-13 08:14:53
2623
原创 有道翻译js解密
有道翻译js解密一、反爬措施二、调试过程1、确定加密参数2、调试过程（1）Cookie（2）sign三、总结1、注意点2、知识点四、代码实现目标网站：http://fanyi.youdao.com/一、反爬措施Content-Type防盗链Cookie验证post_data参数加密二、调试过程1、确定加密参数抓包，找到数据接口：http://fanyi.youdao.co...
2019-05-11 13:55:35
362
原创 一点资讯js解密
一点资讯js解密需求调试过程1、确定加密参数2、调试过程（1）_splt参数（2）JSESSIONID参数3、注意点4、知识点5、整体流程代码简单实现需求目标网站：http://www.yidianzixun.com/抓取范围：各频道页面下的数据调试过程1、确定加密参数抓包，找到数据接口：http://www.yidianzixun.com/home/q/news_list_for_c...
2019-05-11 00:23:35
3064
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人