反爬虫与爬虫
文章平均质量分 78
I am geekbyte
app分析、移动安全、tls/ja3指纹、爬虫、反爬
展开
-
2023安卓&web网络协议
我准备从0开始抽丝剥茧多维度地讲解怎么用于反爬虫和对抗,以及利用在更广的领域,这些是我之前发的文章没有的。其实一直有人问我有关tls/ja3的东西,目前市面上的ja3资料和课程也不少。原创 2023-04-26 16:19:20 · 116 阅读 · 0 评论 -
反爬虫之有个操作也许可以检测aiohttp、httpx,requests也尴尬?
最近行业市场不太景气啊,趁着有时间多学学吧,武装自己,等机会刚好,发现一个很6的东西。这个问题是在差不多半个月前,群友 @十一 发现的,然后在群里跟大家讨论。这个网站,请求的时候,requests正常:原始的curl也可以:aiohttp,直接报错httpx,也直接报错:不过httpx的报错要明显点,这就进入了有意思的环节爬虫的核心,还是指纹等静态特征完全的模拟浏览器环境,行为等动态特征完全的模拟人为操作geekbyte。原创 2023-04-14 10:47:25 · 3671 阅读 · 2 评论 -
某翻译js安全分析
本篇文章很简单,没有太多技术含量,适合入门的小白,大佬可以直接忽略,不能浪费大佬们的宝贵时间是这样的,在某技术交流群里,看到某个老哥说某翻译搞不了,刚好搞了太久的app安全,看看荒废半年多的js还能搞不然后我说,我很早前就发过文章分析过然后另一个老哥提醒我说,结果加密了哟 ,突然就有点兴趣了,准备整一波确实是很简单,我也刚好有点空搞了下,全程可能5分钟吧,没啥的,大佬多的是,这种难度级别的,好多大佬估计都看不上懒得分析技术交流群geekbyte。原创 2023-03-14 21:30:00 · 391 阅读 · 0 评论 -
tls指纹之chrome新版功能/近期问题汇总/目前能直接使用的tls对抗库
今天在找某个东西的时候,无意间,想看看ja3相关的东西,有没有啥值得研究的,然后就突然想起chrome随机指纹那个事,这个其实在2023年开年上班那几天的时候,就我群里看到群友说,chrome新版,自带随机ja3指纹,卧槽?我当时是不信的,结果试了半天,确实是不一样了????我用的以下网站测试,ja3官网现在经常无法访问了这是什么个情况?我反复确认,确实是不一样了,具体哪里不一样了呢?颠覆了啊,卧槽,为啥,ja3官网之前不是说一个浏览器客户端ja3指纹基本是固定的吗?原创 2023-03-13 18:45:00 · 1905 阅读 · 0 评论 -
tls指纹之到底怎么判断是否有tls、到底怎么对抗tls
其实自从大概一年前,发了tls/ja3那篇文章之后开始 ,就时不时有朋友找我私聊,让我帮忙看看某某平台,“怎么回事啊?”,“怎么python请求不到?”,“到底是不是tls?”,“怎么过tls?”,等等...真的还挺多的所以,这篇文章,我把我想的写出来,还不太懂的,请仔细看,一个字一个字的看,因为有的朋友问的问题,之前的文章其实都有的,所以我希望各位朋友,这篇文章请认真看如果看完我这篇文章,还是无法确定是否是tls的话,也可以继续问我,但我希望你是经过自己思考还是没搞定的情况下再来的。原创 2023-03-13 18:45:00 · 2826 阅读 · 0 评论 -
能过tls检测的curl-impersonate win版,搞起来啊
之前老有朋友问我,针对tls的pycurl方案能不能在win上使用,这次终于来了,这个项目地址是今天 @渔滒 发我的,我看了下项目,真牛逼,之前win用不了的原因就是curl_impersonate不能在win上编译,现在这个可以啦,冲啊!!!原创 2023-03-13 18:45:00 · 1000 阅读 · 0 评论 -
python突破tls后续:pip install
以下只是搬运下我公众号的东西。很早就发过了。原创 2023-03-13 18:45:00 · 407 阅读 · 0 评论 -
python完美突破tls/ja3
时隔一个多月我又发文了,我还是只发好文的geekbyte,前几天有朋友跟我说我断更一个多月了,哈哈,这不就来了吗不多废话,进入正题。如果你偶尔看到这篇文章,而对tls还一脸懵的朋友,可以先阅读以下文章了解一下JS逆向之猿人学第十九题突破ja3指纹验证深度剖析ja3指纹及突破ja3指纹补充说明距离我上次发深度剖析ja3指纹及突破已时隔半年多(因为之前删过重新发的),我当时抛出一个问题,就是python由于依赖的openssl库没法高度自定义,导致针对tls那5个组件没法改动太大。原创 2023-03-13 18:45:00 · 2212 阅读 · 0 评论 -
tls/ja3指纹补充说明
之前我查到的是已知的只能改ciphers加密套件,然后根据微信好友渔滒的发现,用pyqt可以改第三个扩展列表和第四个椭圆算法,最后一个椭圆标准还是没法改,相关链接:https://doc.qt.io/qt-5/qsslconfiguration.html目前我有空就在研究,没有结果之前,不好意思暂不便多说geekbyte。原创 2023-03-13 18:45:00 · 827 阅读 · 0 评论 -
深度剖析ja3指纹及突破
文章较之前有部分改动,对理解ja3来说不影响的。因为某大佬看了我的文章后说我的方法其实不是完美突破,所以完美两个字没了。可能有朋友会说"你这不是在炒冷饭吗?没意思”,不不,完全没这想法。我想的是1.为了留存备份,等我老了可以给子孙后代看,这个是我写的。2.以后大家不用再拿着那个pdf私下转发了。原创 2023-03-13 18:45:00 · 1641 阅读 · 0 评论 -
python爬虫 - 猿人学第十九题突破ja3指纹验证
ja3指纹破解,骚操作删除原生加密算法原创 2021-12-12 20:40:16 · 6612 阅读 · 16 评论 -
python反爬之js混淆字符串映射
某客园目前对全平台做内容审核,怕哪一天给和谐了,所以来csdn作备份今天偶然看到个国外的代理网站(具体哪个保密),它的端口是做了映射的,虽然不难,但是看起来很有意思浏览器打开是这样:网站源码是这样:document.write(":"+(Six9FiveNine^FiveFiveFour)+(EightZeroTwoFour^One2One)+(Six9FiveNine^FiveFiveFour)+(EightZeroTwoFou...原创 2021-04-09 15:06:04 · 327 阅读 · 0 评论 -
python爬虫 - js逆向解密之破解搜索字段加密
某客园目前对全平台做内容审核,怕哪一天给和谐了,所以来csdn作备份声明以下内容涉及的平台是我朋友的平台,另外也不存在攻击破解拿商业数据等行为,为了安全着想,部分信息已打码前言我朋友给了我一个网站,说他们内部测试用的,要我看下有没有办法爬数据,也就是他们的搜索接口能搞不,这已经是我做反爬开始的第n个爬虫等级测试了分析习以为常的打开网站,然后就看到下面的界面:看到了嘛,我填入关键词搜索的时候,url直接就变成了ht...原创 2021-04-08 17:20:34 · 566 阅读 · 0 评论