爬虫
文章平均质量分 92
郭钟
B站:https://space.bilibili.com/105035514
展开
-
hooker pro入门文档
欢迎使用hooker逆向工作台,让安卓应用开发工程师教你如何逆向安卓应用。hooker简介hooker是一个站在Android应用开发工程师的角度打造的适用于Android逆向工程人员和安全研究人员的工具包。为逆向开发人员提供自动化生成frida的hook脚本、内存探测java类、检测activity和service和其他任意对象。hooker和frida、objection有什么不同?职责不同:frida注重打造调试引擎、objection注重将frida的api简单封装一下让你好快速上手f原创 2021-03-19 14:06:32 · 1958 阅读 · 2 评论 -
欢迎使用goniub 我带来的不仅仅是一个框架,最重要是做爬虫的思想。
欢迎使用goniub 我带来的不仅仅是一个框架,最重要是做爬虫的思想。感谢大家的关注,因为各种原因文档迟迟未更新。但是还是有“识货”的人,进去看了goniub的源码。因为觉得好用所以给了star和fork,我再次由衷感谢大家对goniub的认可。** goniub是一个java爬虫工具库,如果你想提高开发爬虫的效率,如果你用selenium老是被网站检测到机器识别,如果你想实现js注入。请你立马用goniub。**添加maven依赖<dependency> <g.原创 2021-01-21 18:06:48 · 1063 阅读 · 1 评论 -
mitmproxy-hub让所有语言都可以使用上mitmproxy
欢迎使用mitmproxy-hubmitmproxy非常适合捕捉网络流量,但是对于Java用户没有简单的接口。软件测试社区,特别是爬虫、中间人攻击测试人员,希望能够捕获设备在Java测试期间发出的网络请求。为此,基于grpc开发了mitmproxy的中央服务,任何语言都可以基于mitm_hub.proto实现的回调定义生成自己的远程客户端代码。以便在你的语言环境上也能像在python本地一样,使用remotemitmproxy。推荐环境Mitmproxy: 5.3.0Python:.原创 2020-12-07 20:56:36 · 603 阅读 · 1 评论 -
微信视频号逆向分析+核心爬虫代码
基于微信7.0.12版本,请自寻下载对应微信版本。打开jadx反编译工具自行比对,主要怕你以为我骗你。至于这个爬虫代码如何运行,请关注我的逆向工作台hooker项目:https://github.com/CreditTone/radar-frida,打开脑洞好好思考一下。题材过于敏感,这里不多作介绍。package gz.wxvideo;import com.tencent.mm.plug...原创 2020-04-30 17:30:56 · 11889 阅读 · 17 评论 -
微信是怎么防止xposed进行hook的
这里写自定义目录标题微信是怎么防止xposed进行hook的微信是怎么防止xposed进行hook的逆向版本微信7.0.12,防止你微信不是吃素的,各位爬虫不要觉得学了几个技术就觉得了不起。我搞得app比你搞得网站还多。...原创 2020-04-23 16:07:33 · 2861 阅读 · 6 评论 -
新浪爬虫微博个人地址公司等信息抽取正则表达式
新浪把用户信息生成js。然后动态执行js生成html。所以大家看到为什么在html标签里面找不到信息。大家,下面的正则对静态页面抽签就可以了。 抽取微博数:>(\d+)微博 抽取地址:2[\\rnt\s]+[\\rnt\s]+([^\\rnt\s]+[ ]{0,1}[^\\rnt\s]+)[\\rnt\s]+原创 2015-08-21 11:08:20 · 1709 阅读 · 0 评论 -
如何做最好的定向爬虫架构
如何做最好的定向爬虫架构姓名:郭钟当前职位:某创业公司担任爬虫工程师 摘要随着互联网信息的不断发展,信息数据的挖掘技术也不断的发展。网络爬虫技术也随之得到了巨大的发展。而对于内容型驱动的网站来说反扒是一件必不可少的事情。很多网站用Jquery加壳、登录验证、限制单位IP每秒请求次数来阻止爬虫窃取数据。所以爬虫的智能性也受到越来大的挑战。特别是国内高匿代理IP资源少的问题给爬虫的原创 2015-03-21 19:43:08 · 6649 阅读 · 2 评论