有一种使用新的网络抓取服务跳过 Cloudflare 反机器人检测的新方法:antidetect 浏览器。
如果你用谷歌搜索“Cloudflare bypass”,你会发现数百篇文章和 Github 存储库解释了如何绕过 Cloudflare(或销售解决方案)。原因很简单:Cloudflare Bot Management 解决方案是互联网上最强大、最常用的反机器人保护解决方案之一。
有那么难吗?
- 是的。
传统的安全措施依赖于 IP 封锁或验证码。Cloudflare的 Bot Management解决方案使用先进的机器学习算法来分析访问网站的请求。因此,它能够通过解释机器人的典型行为模式来自然地识别机器人。
以下是机器人很可能会做什么的一些示例:
短时间内发出大量请求
使用特定类型的用户代理或 IP 地址
有不一致/可疑的指纹。
Cloudflare 的 Bot Management 解决方案也很难绕过,因为它一直被教导要检测新型网络抓取机器人。该公司使用机器学习算法来更新其检测方法,以快速识别并阻止出现的新型机器人。
网页抓取服务
Cloudflare 的另一个绊脚石是它是一个高度定制的解决方案。适用于一个网站的方法可能对另一个网站无用。
作为证明,在我之前关于 Cloudflare 的帖子中,我为 3 个不同的网站编写了三个类似的解决方案,但其中只有两个仍然有效。在过去的几周里,我一直在努力使用 Playwright 和Antonioli网站来绕过 Cloudflare。几页后,我再次被阻止,尤其是当执行在 AWS 上的 VM 内运行时。
所以,事实是——没有对抗 Cloudflare Bot Management 的灵丹妙药。但是,有些解决方案效果很好。
一种新方法ÿ