K哥爬虫-CSDN博客

转载当爬虫工程师遇到 CTF丨2021 年 B 站 1024 安全攻防题解

文章目录第一题：加密解密第五题：APP 逆向总结最近看到哔哩哔哩上线了一个 1024 程序员节的活动，其中有一个技术对抗赛，对抗赛又分为算法与安全答题和安全攻防挑战赛，其中安全攻防挑战赛里面有 7 个题，其中有 APP 逆向和解密的题目，作为爬虫工程师，逆向分析的技能也是必须要有的，于是 K 哥就以爬虫工程师的角度，尝试做了一下其中逆向相关的两个题，发现逆向不是很难，分享一下思路给大家。（以爬虫工程师的角度分析安全攻防的题，网安大佬勿喷！）1024 程序员节活动地址：https://www.bi..

2021-10-23 18:15:50 5738 9

原创 JS 逆向之 Hook，吃着火锅唱着歌，突然就被麻匪劫了！

关注微信公众号：K哥爬虫，QQ交流群：808574309，持续分享爬虫进阶、JS/安卓逆向等技术干货！什么是 Hook？Hook 中文译为钩子，Hook 实际上是 Windows 中提供的一种用以替换 DOS 下“中断”的系统机制，Hook 的概念在 Windows 桌面软件开发很常见，特别是各种事件触发的机制，在对特定的系统事件进行 Hook 后，一旦发生已 Hook 事件，对该事件进行 Hook 的程序就会收到系统的通知，这时程序就能在第一时间对该事件做出响应。在程序中将其理解为“劫持”可能会更.

2021-09-29 14:35:45 24979 2

原创【小程序逆向专栏】某润选房小程序逆向分析

本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！近期在交流群中发现，有群友提到了小程序逆向相关的问题，之前也有不少粉丝私聊提问过相关问题，也对他们的疑问进行了解答， K哥一向会尽力满足粉丝们的需求，为了避免群友手动采集之痛，本

2024-04-30 11:49:24 799

原创【Go 语言入门专栏】Go 语言的起源与发展

Go 语言是当下最为流行的编程语言之一，大约在 2020、2021 年左右开始于国内盛行，许多大厂很早就将部分 Java 项目迁移到了 Go，足可看出其在性能方面的优越性。相信各位都知道，在爬虫业务中，并发是一个关键的需求，不然仅靠单线程采集数据，只怕公司垮了数据都还没采完。以往编写爬虫脚本，通常会使用 Python 语言，不过，想用 Python 实现较好的并发性能，相对麻烦，并且容易受到服务器或电脑配置的影响。

2024-04-30 11:48:48 1359

原创【验证码逆向专栏】xx80 邮箱多种类验证码逆向分析

本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！又到了粉丝答疑时间，之前已经分析了两位粉丝存疑的站点，并编写了相应的逆向文章，私信中还有些小伙伴提出了在逆向一些网站的时候碰到的问题，后期仍会选择其中一些，写成文章，以供参考：目标

2024-04-01 16:00:55 1457

原创【JS逆向百例】云汉芯商城逆向分析

本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！本文章未经许可禁止转载，禁止任何修改后二次传播，擅自使用本文讲解的技术而导致的任何意外，作者均不负责，若有侵权，请在公众号【K哥爬虫】联系作者立即删除！继上次粉丝提问，K哥出了对应站点的分析文章之后，又有不少小伙伴提出了在逆向一些网站的时候碰到的问题，态度都很友好，K哥会尽力满足粉丝需求，不过只能一个个慢慢来，本文先对其中一个进行

2024-03-25 13:55:32 1108

原创【K哥爬虫普法】二十五岁人大本硕腾讯在职爬虫被捕！

我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。上一期普法栏目，给大家讲了一个博士爬虫被捕的案例。学历≠人品无独有偶，今天的故事主角也是大家眼中的高材生。只可惜，进去咯。

2024-03-06 16:46:03 1621

原创「爬虫职海录」三镇爬虫

武汉的爬虫岗工资是高于当地社会平均收入的，虽不及一线城市，但生活成本也相对较低，工作几年后能够拿到一份每月过万的薪水，生活是不至于过的太差的，还能稍有盈余。1，文中出现的岗位JD，包括薪酬，工作时间、福利等情况，均为招聘单位公示，我只是做了收集，实际情况大家可以主动联系招聘方进行咨询。而这么多的毕业生，尤其是计算机专业，对爬虫岗感兴趣或者是打算从事爬虫岗的同学，是该留在武汉，还是流向发展更好的一线城市呢？武汉的爬虫岗薪资虽然低于北上广深杭，但毕竟是IT行业，还是跑的赢当地社会平均收入的。

2024-03-02 11:28:23 2054

原创【JS逆向百例】某词霸翻译逆向分析

今天在查看某平台私信的时候，发现有位粉丝表示自己在逆向某站的过程中，有一些疑惑，态度十分友好，K哥一向是尽力满足粉丝需求的，本文就对该站进行逆向研究，该案例不难，不过为了便于粉丝理解，会写的相对详细点，大佬们直接跳过就可以了~

2024-03-02 10:55:18 1566 1

原创吾爱破解2024春节解题领红包活动，喜迎新春~

K哥在这里，先祝各位小伙伴们新春快乐，财源广进，阖家幸福！吾爱破解每年都有个解题领红包活动，今年也不例外，需要我们使出看家逆向本领来分析内容获得口令红包，根据难度等级不同会获得不同数量的吾爱币，活动持续到元宵节结束。活动一共有十个题，本文分享过年期间抽空做的几个题的相关思路。文章很早就写好了，不过遵循论坛的规则，延迟至元宵节之后发布。活动地址：https://www.52pojie.cn/thread-1889163-1-1.html。

2024-02-27 17:55:42 718

原创【K哥爬虫普法】某博士爬虫团伙贩卖个人信息，被一网打尽！

我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。

2024-02-20 11:01:06 1118

原创《爬虫职海录》卷二 • 爬在广州

尽管岗位数量和薪资水平都不占优，但大家还要看到，广州在吃住方面的生活成本同样是相对较低的，毕竟每个月工资再高，只有“可支配收入”才是真的。1，文中出现的岗位JD，包括薪酬，工作时间、福利等情况，均为招聘单位公示，我只是做了收集，实际情况大家可以主动联系招聘方进行咨询。2，文中出现的岗位基本为随机选取，只作为参考，并不代表K哥推荐，我并未收取任何单位以及个人的广告费，也不提供简历投递渠道。3，文中出现的招聘信息截至发文，仍为在招状态，后期K哥不对相关信息的有效性负责。

2024-02-05 18:16:26 1719

原创分币不花，K哥带你白嫖海外代理 ip！

近来，国内的数据采集环境越来越严峻，不是“非法入侵计算机信息系统”，就是“侵犯公民个人隐私信息”，一个帽子砸下来，直接就“包吃包住”，推荐阅读一下【K哥爬虫普法专栏】。虽然大伙常说“搏一搏单车变摩托”，但这就像高空走钢丝，谁也说不好下一步会不会掉入万丈深渊。因此何不换个赛道，把目标放到各类海外数据，比如海外电商平台、社交媒体平台等等，同样能带来巨大的价值，最重要的，大多数人的技术也不足以惊动 FBI、ICPO，整个国际红色通缉令，被跨国追捕 ≖‿≖。

2024-01-26 18:50:04 1844

原创【验证码逆向专栏】最新某验三代滑块逆向分析，干掉所有的 w 参数！

最近很多粉丝反馈，某验三代的滑块一直返回 forbidden，不知道为什么通过不了，尝试了很多方法都不行。其实是因为之前只校验了第三个 w 参数的值，现在官网加强了校验，前面两个 w 参数也需要逆出来，三个 w 参数相互关联，有一个不对，就无法通过验证。目前只发现官网做了更新，今后其他网站可能也会再上点强度。本文将会对每个 w 参数逐一逆向分析。

2024-01-26 18:49:34 1475

原创【K哥爬虫普法】倒计时21天！事关爬虫er们能否平安回家过年！

我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。

2024-01-22 18:36:51 1366

原创【验证码识别专栏】人均通杀点选验证码！Yolov5 + 孪生神经网络 or 图像分类 = 高精模型

简单来说，孪生神经网络（Siamese network）就是“连体的神经网络”，神经网络的“连体”是通过共享权值来实现的，如下图所示：孪生神经网络是一种特殊的神经网络结构，由两个或多个相同的子网络组成，这些子网络共享相同的权重和参数。其设计灵感来源于孪生兄弟或姐妹之间的相似性。孪生神经网络主要用于解决比较和相似性度量的问题。它可以将两个输入进行比较，并输出一个度量值，表示它们之间的相似性或差异程度。

2024-01-12 17:51:25 832

原创研究生写爬虫险些锒铛入狱，起因竟是为爱冲锋？

于是乎，啪啪啪几段代码敲出来，小刘就成功帮多位网友成功“抢”到了疫苗，而且是一发不可收拾，他还在各大平台发布“抢苗”信息，研发+运营+销售，三位一体，一肩全挑，硬是把这个抢疫苗的生意做的是风生水起如火如荼。一旦涉及到RMB，事情就变得比较暧昧了，这么多人需要，自己又是计算机专业高材生，还能挣钱，往大了说是关爱女性人间真情，往小了说是学以致用勤工俭学，这利人利己的好事儿，何乐而不为呢？截至今日，小刘还在缓刑期内，有了案底，这辈子是考公无望了，子女后代的政审也会受到影响，但总归是避免了牢狱之灾。

2024-01-08 14:44:25 1635

原创【JS 逆向百例】steam 登录 Protobuf 协议详解

初步了解protobuf协议后就能理解上文中的代码了，上文中的类正是对字段进行定义。那么我们就可以根据JS代码中的格式来编写我们自己的proton: 1,protobuf数据类型描述int32int64uint32uint64sint32sint64fixed32fixed64sfixed32sfixed64float单精度浮点数double双精度浮点数bool布尔值string字符串bytes二进制数据enum枚举类型，表示一组命名整数值message。

2023-12-29 17:53:22 1484 1

原创通杀无限 debugger，目前只有 1% 的人知道！

相信很多小伙伴在进行 web 逆向的时候，都遇到过无限 debugger。最简单的方法，在 debugger 位置，点击行号，右键 Never pause here，永远不在此处断下即可。但是这种方法就妄想通杀，显然是不大可能的，不然这种防护岂不是弄出来骗自己的。现在很多网站，这样处理是无法绕过的。例如常规的，可能存在格式化检测，内存爆破，禁用右键，要么就会接着进入到下一个 debugger 中，甚至出现网页卡死的情况等等。这些可能就会挡住一部分爬虫 er。

2023-12-21 18:20:46 1417

原创【K哥爬虫普法】北京某公司惨遭黑客攻击13000000余次，连夜报警……

我啥也妹干呐，那家伙上来就给我哐哐哐撞了一千三百万下😭😭警察同志，您一定要给我主持公道，不法分子必须严惩！ ——帝都某公司在警局里如是哭诉到大家好，我是K哥！今天给大家讲一个关于数据泄露的故事，故事很新，就发生在不久前。事情是这样的，前阵子北京的警察叔叔们接到了自己辖区里边一家公司的报案，互联网公司，做招聘平台的。该公司称自家 App 的短信验证码接口遭受了1300 余万次恶意攻击，而且被成功匹配了30 余万个注册账号。（这意味着30多万份的求职者信息遭到泄露）

2023-12-18 17:40:43 1495

原创国内 AI 成图第一案！你来你会怎么判？

大家好，我是K哥！今天先不聊爬虫，给大家讲一个关于AIGC的普法案例！事情是这样的，今年年初的时候，本案的原告李先生，使用开源软件Stable Diffusion通过输入提示词的方式生成了一张美女图片，也就是本案的涉案图片。欸~有兄弟就要说了：图片？违法？是那种图片吗！让我看看!让我看看!当时呢，李先生给这张图片配文“春风送来了温柔”，并发布在小红书上，事情到这儿都没有任何问题。但就在几天之后，李先生突然发现自己的这张图片，在网上被人盗用了！

2023-12-05 12:05:36 137

原创【验证码逆向专栏】百某网数字九宫格验证码逆向分析

接着往下看，八个字符串为一组，将 md5 值分为四组，然后四组之间用 0 或者 1 连接，拼接成新的 35 位字符串，拼接的是 0 还是 1，取决于中间的三目语句，判断是否为 true，支持情况下都是 true，所以扣算法的话根本就没必要再跟进去看是怎么判断的，直接用 1 拼接就完事儿了。这里对于我们扣算法来说，其实就不需要管了，因为同一台设备的同一个浏览器，按照相同的规则绘制的图片，base64 值是一样的，所以我们直接忽略 c7 这个方法，直接把生成的 base64 值拿来用就行了。

2023-11-15 18:45:41 970

原创【K哥爬虫普法】网盘用的好，“艳照门”跑不了

2017 年 7 月份，金熊信息科技有限公司产品经理被告人马某雇佣被告人莫某一同开发“探索云盘搜索”网站，并于2017 年 10 月份将“探索云盘搜索”网站开发完毕，2018 年 3 月份将浏览器插件开发完毕。下载并使用“探索云盘搜索”插件的用户只要登录百度云盘，其中的隐私资源信息就会在用户不知情的情况下被自动抓取并收录，且无需授权同意。

2023-10-27 16:52:49 862

原创人均瑞数系列，瑞数 6 代 JS 逆向分析

人均瑞数系列，瑞数 4 代 JS 逆向分析人均瑞数系列，瑞数 5 代 JS 逆向分析js逆向思路-区分瑞数vmp/6/5/4/3反爬上述文章中，详细介绍了瑞数的特征、如何区分不同版本、瑞数的代码结构以及各自的作用，本文就不再赘述了，不了解的同志可以先去看看之前的文章。

2023-10-21 13:43:10 2477 1

原创只是因为上了那个网站，就被公安局没收百万财产！

9 月 24 日，有人在某社交网站发文称其为境外公司提供工作，访问国际互联网，被河北承德双桥公安处罚 105.8 万元，国庆之后在当地提起行政诉讼，并寻求律师的帮助：这篇帖子一经发出，就引起了轩然大波，网络上的各种争论声不绝于耳，K哥第一次听到这个消息的时候，也是大为震惊的，为海外公司工作被处罚了 100 多万，是从事”黑灰产“了吗？是涉嫌网络犯罪了吗？这件事情到底是怎么回事呢？

2023-09-28 14:15:42 433

原创【验证码逆向专栏】螺丝帽人机验证逆向分析

bg 和 b 参数搜索不到，且每次都是变化的，通过观察可知这是一个 XHR 请求，那么就可以通过 XHR 断点，或者直接跟栈的方式来找加密入口，好在栈也不多，直接跟进去下断点，在 ajax send 方法这里，就可以看到 bg 和 b 已经生成。，主要用于后续的加密参数生成，乍一看以为是个 OB 混淆，其实只是更换了变量名，然后一些值是从大数组里面取的，没有 OB 混淆里的打乱数组的操作，比 OB 混淆要简单很多，后文会利用 AST 对这三个 JS 进行解混淆，后续类似的还加载了。

2023-09-22 15:04:22 1212

原创【K哥爬虫普法】房产数据刑吗？爬虫多年没踩过缝纫机，劝你找找自己原因！

被告单位厦门房麦网络科技有限公司（以下简称房麦公司）于 2018 年至 2020 年间，利用网络爬虫程序，采用破解验证码等手段非法获取北京某信息技术有限公司（以下简称某公司）经营的某网站房产数据，经解密、加工、整理后供房麦公司的房产 APP 使用，造成某公司网络资费、人力成本等经济损失人民币 10 万余元，并造成某公司相关费用受损共计人民币 300 余万元。房麦公司于 2015 年 6 月成立，法定代表人为被告人林镇平，公司成立后研发“推房神器”等 APP。

2023-09-15 09:58:21 2178

原创【验证码逆向专栏】房某下登录滑块逆向分析

K 哥之前在【JS 逆向百例】【JS 逆向百例】房某下登录接口参数逆向，该站如果通过输入账号和密码的方式进行登录，POST 请求参数中，密码 pwd 被加密处理了，对其进行了逆向分析。最近在某博客平台上，有粉丝在该篇文章的评论区询问能不能出一期该站的滑块逆向文章，经过研究发现通过手机动态码的方式登录，点击获取短信验证码时，会弹出滑块验证，本文将对另一种登录方式的反爬策略进行研究分析，既是满足粉丝需求，也是对该站登录逆向的补充完善。

2023-09-08 13:52:22 2567 9

原创【K哥爬虫普法】百亿电商数据，直接盗取获利，被判 5 年！

2017 年 2 月至 5 月，被告人彭中正利用其在成都市知数科技有限公司（以下简称知数公司）从事技术工作的便利，非法获取公民个人信息数十万条，伙同被告人吕雷，通过 QQ 向被告人周敏、“123 哥”（身份不详）、“49 哥”（身份不详）等人出售，违法获利约 50 万元。被告人周敏以 0.35 元/条、0.4 元/条等价格，从彭中正、吕雷处持续购买约40 万条公民个人信息用于转卖获利，通过支付宝向吕雷给付对价 161731 元。2017 年 5 月 16 日，阿里巴巴集团公司以用户数据泄露为由报案。

2023-09-05 10:36:53 1059

原创 _0x4c9738 怎么还原？嘿，还真可以还原！

代码混淆（obfuscation）和代码反混淆（deobfuscation）在爬虫、逆向当中可以说是非常常见的情况了，初学者经常问一个问题，类似的变量名怎么还原？从正常角度来说，这个东西没办法还原，就好比一个人以前的名字叫张三，后来改名叫张四了，除了张四本人和他爸妈，别人根本不知道他以前叫啥，类似的变量名也一样，除了编写原始代码的人知道它原来的名称是啥以外，其他人是没办法知道的。然而，就真的没办法还原吗？时代在进步，这几年人工智能蓬勃发展，在机器学习的加持下，让变量名的还原也成为了一种可能。本文将

2023-08-23 14:03:27 1793

原创【K哥爬虫普法】孤注一掷的爬虫er，究竟还要误入歧途多远？

2018 年 8、9 月间，被告人谢财安、林建华预谋窃取公民个人信息售卖获取利益。后二人通过网络联系被告人杨杭，被告人杨杭明知二被告人从事非法活动仍向被告人林建华、谢财安提供 “smarttool”（用于爬取京东商户订单信息）等软件并收取费用。被告人林建华、谢财安利用该软件通过技术手段非法侵入京东商城 “WIS 旗舰店” 等商户的账户维护后台，窃取公民交易类个人信息予以售卖并获利。

2023-08-22 16:08:10 767

原创【验证码逆向专栏】最新某度旋转验证码 v2 逆向分析

七月底有爬友反馈，某度旋转验证码 v2 的加密算法更新了。对各个站点测试后发现，站长后台的算法及请求参数更新了，因为近期也发过某度系列验证码的文章，为了避免失效部分对粉丝的误导，现再次对相关算法进行逆向分析。

2023-08-12 16:29:41 1988 6

原创【K哥爬虫普法】淘宝一亿快递信息泄漏，有人正在盯着你的网购！

我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。案情介绍2014 年 5 月初，被告人翁秀豪发现淘宝店铺源码存在漏洞，利用该漏洞可以在店铺源码中植入一个 url，执行该 url 指向的 javascript，以获取访问被植入 url 的淘宝店铺的所有淘宝用户的 cookie（淘宝用户

2023-07-21 16:37:43 594

原创【验证码逆向专栏】某度滑块、点选、旋转验证码 v1、v2 逆向分析

为庆祝K哥爬虫公众号原创破百、粉丝过万，特举行粉丝回馈活动，欢迎关注本文末的活动详情~

2023-07-08 11:09:26 1657 1

原创【K哥爬虫普法】一个人、一年半、挣了2000万！

2015年，被告人肖某开发了一款免费看小说 APP，为了牟利，肖某从腾讯广告联盟下载广告包并插入该 APP 应用程序，用户在通过该 APP 阅读小说时点击其中的广告，广告联盟会自动以点击量计算广告推广费。之后肖某注册成立“某网络技术工作室”公司，并以公司名义将 APP 陆续上架到应用商城。为通过著作权资质的审查，肖某伪造相应作品转让授权证明上传至各应用商城。2019年，肖某成立公司开发“悦读免费小说”手机 APP 软件并上架，提供网络小说在线阅读服务。

2023-06-10 09:35:15 1148

原创【K哥爬虫普法】你很会写爬虫吗？10秒抢票、10秒入狱，了解一下？

2017年至2019年间，被告人陈辉为牟取非法利益，在本区编写“爬虫”软件用于在浙江淘宝网络有限公司旗下的“大麦网”平台上抢票，并以人民币1888元到6888元不等的价格向他人出售该软件，非法获利人民币12万余元。经鉴定，上述“爬虫”软件具有以非常规的方式构造和发送网络请求，模拟用户在大麦网平台手动下单和购买商品的功能；具有以非常规手段模拟用户识别和输入图形验证码的功能，该功能可绕过大麦网平台的人机识别验证机制，以非常规方式访问大麦网平台的资源。

2023-05-19 16:56:54 1540

原创【0基础学爬虫】爬虫基础之自动化工具 Pyppeteer 的使用

前两期文章中已经介绍到了 Selenium 与 Playwright 的使用方法，它们的功能都非常强大。而本期要讲的 Pyppeteer 与 Playwright 一致，都可以作为 Selenium 的替代者来使用。且与 Playwright 相比，Pyppeteer 的使用更加简单。在上上期文章中，我们介绍了 Selenium 隐藏特征的方法，其中使用到了 stealth.min.js 文件。在介绍文件的来源时我们提到了 Puppeteer，Puppeteer是一个基于 Node.js 的自动化工具。

2023-05-09 15:24:48 1683 1

空空如也

空空如也