Web 抓取服务：如何绕过 Cloudflare Bot Protection？ 第二部分

有一种使用新的网络抓取服务跳过 Cloudflare 反机器人检测的新方法：antidetect 浏览器。

如果你用谷歌搜索“Cloudflare bypass”，你会发现数百篇文章和 Github 存储库解释了如何绕过 Cloudflare（或销售解决方案）。原因很简单：Cloudflare Bot Management 解决方案是互联网上最强大、最常用的反机器人保护解决方案之一。

有那么难吗？

• 是的。

传统的安全措施依赖于 IP 封锁或验证码。Cloudflare的 Bot Management解决方案使用先进的机器学习算法来分析访问网站的请求。因此，它能够通过解释机器人的典型行为模式来自然地识别机器人。

以下是机器人很可能会做什么的一些示例：

短时间内发出大量请求
使用特定类型的用户代理或 IP 地址
有不一致/可疑的指纹。
Cloudflare 的 Bot Management 解决方案也很难绕过，因为它一直被教导要检测新型网络抓取机器人。该公司使用机器学习算法来更新其检测方法，以快速识别并阻止出现的新型机器人。

网页抓取服务

Cloudflare 的另一个绊脚石是它是一个高度定制的解决方案。适用于一个网站的方法可能对另一个网站无用。

作为证明，在我之前关于 Cloudflare 的帖子中，我为 3 个不同的网站编写了三个类似的解决方案，但其中只有两个仍然有效。在过去的几周里，我一直在努力使用 Playwright 和Antonioli网站来绕过 Cloudflare。几页后，我再次被阻止，尤其是当执行在 AWS 上的 VM 内运行时。

所以，事实是——没有对抗 Cloudflare Bot Management 的灵丹妙药。但是，有些解决方案效果很好。

一种新方法ÿ