使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法

守城小轩

于 2025-03-26 09:12:53 发布

阅读量854

点赞数 25

分类专栏：网络爬虫文章标签： chrome 浏览器开发指纹浏览器超级浏览器网络爬虫

本文链接：https://blog.csdn.net/qqyy_sj/article/details/146519369

版权

网络爬虫专栏收录该内容

36 篇文章

订阅专栏

引言

在当今的网络环境中，进行网站数据抓取时，常常会遭遇各种反爬虫措施。这些措施如同坚固的防线，阻碍着数据获取的进程。curl_cffi 作为一个高级 Python 库，就像是一把精巧的钥匙，它包装了强大的 cURL 工具，能够帮助我们有效地绕过这些反爬虫障碍。通过模拟浏览器行为并充分利用 cURL 的功能，curl_cffi 极大地增强了我们的抓取器避免被检测的能力，让数据抓取工作能够更加顺利地执行。在本指南中，我们将深入探讨 curl_cffi 的工作原理、如何将其应用于各种数据抓取任务，同时也会分析它存在的局限性，并讨论克服这些局限性的潜在解决方案。

1. 什么是 curl_cffi？

curl_cffi 是专门为网络请求设计的 Python 库，与 requests 和 httpx 等库有着相似的用途。然而，curl_cffi 具有独特的优势，它可以模拟浏览器 TLS/JA3 和 HTTP/2 指纹。curl-impersonate 是一个强大的命令行工具，能够模拟四种主要浏览器的行为，并像真实浏览器一样执行 TLS 和 HTTP 握手。curl_cffi 巧妙地使用 cffi 将 curl-impersonate 包装成了 Python 库，从而让我们可以在 Python 环境中方便地使用这些功能。

2. 什么是 TLS/JA3 指纹？

如今，大多数网站都采用了 HTTPS 协议来保障数据传输的安全性。为了建立 HTTPS 连接，服务器和客户端之间会进行 TLS 握手，在这个过程中，双方会交换一系列信息，例如支持的 TLS 版本和加密算法等。不同的客户端具有不同的特征，而且这些细节通常是相对稳定的。服务器可以利用这些特征来识别请求是来自典型用户浏览器还是自动化脚本。JA3 是一个常用的算法，它的工作原理是将这些特征连接起来并计算 MD5 哈希值，从而生成 TLS 指纹。

3. 使用 curl_cffi

3.1 使用 `requests` 获取 JA3 指纹

curl_cffi 的使用方法与 requests 非常相似。以下是使用 requests 获取 JA3 指纹的示例代码：

import requests

url = "https://tls.browserleaks.com/json"
r = requests.get(url)
print(r.json())

运行上述代码，你可能会得到类似下面的结果：

{
    "user_agent": "python-requests/2.32.3",
    "ja3_hash": "8d9f7747675e24454cd9b7ed35c58707",
    "ja3_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-11-10-16-22-23-49-13-43-45-51-21,29-23-30-25-24,0-1-2",
    "ja3n_hash": "a790a1e311289ac1543f411f6ffceddf",
    "ja3n_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-10-11-13-16-21-22-23-43-45-49-51,29-23-30-25-24,0-1-2",
    "akamai_hash": "",
    "akamai_text": ""
}

如果您反复发出请求，会发现您的 JA3 哈希值保持不变。然而，从 Chrome 110 版本开始，TLS ClientHello 扩展的顺序被随机化，这使得网站开发者更容易根据 JA3 指纹来阻止像 requests 这样的库。如果您的请求始终显示相同的 JA3 指纹，它们可能会被识别为来自单个用户，从而增加被标记为机器人的可能性。

3.2 使用 `curl_cffi` 模拟真实的 JA3 指纹

以下是使用 curl_cffi 来模拟真实的 JA3 指纹的示例代码：

from curl_cffi import requests

url = "https://tls.browserleaks.com/json"
r = requests.get(url, impersonate="chrome124")
print(r.json())

impersonate 参数允许您指定要模拟的浏览器和版本。支持的浏览器包括 Chrome、Chrome Android、Edge 和 Safari，并且版本会不断更新。有关详细信息，请参阅 curl_cffi GitHub 仓库。使用 curl_cffi，JA3 指纹将与真实浏览器的指纹一致，并且从 Chrome 110 版本开始，JA3 指纹将在每次请求时发生变化：

{
    "user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
    "ja3_hash": "c97c8dac4ca1de968fe230de54f3e0f3",
    "ja3_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,16-10-27-18-5-51-23-17513-45-35-43-13-65281-0-11-65037,25497-29-23-24,0",
    "ja3n_hash": "4c9ce26028c11d7544da00d3f7e4f45c",
    "ja3n_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-5-10-11-13-16-18-23-27-35-43-45-51-17513-65037-65281,25497-29-23-24,0",
    "akamai_hash": "52d84b11737d980aef856699f885ca86",
    "akamai_text": "1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p"
}

4. 解决 `curl_cffi` 的限制

虽然 curl_cffi 可以模拟真实的 JA3 指纹，并在一定程度上避免机器人挑战和封锁，但它可能并不总是足够的。许多网站实施了先进的机器人保护机制，例如 captcha、reCaptcha、Cloudflare Turnstile 和 captcha WAF 等。这些系统使用复杂的图像和难以阅读的 JavaScript 挑战来区分人和机器人。有时，即使拥有真实且随机化的 JA3 指纹，也无法避免绕过这些挑战。