爬虫，TLS指纹剖析和绕过

Drizzlejj

已于 2023-11-12 18:10:34 修改

阅读量3.7k

点赞数 3

文章标签：爬虫

于 2023-11-12 18:07:46 首次发布

本文链接：https://blog.csdn.net/Drizzlejj/article/details/134361945

版权

当你欲爬取某网页的信息数据时，发现通过浏览器可正常访问，而通过代码请求失败，换了随机ua头IP等等都没什么用时，有可能识别了你的TLS指纹做了验证。

解决办法：

1、修改源代码

2、使用第三方库 curl-cffi

from curl_cffi import requests as curl_req
def Use_curl():
    res = curl_req.get(
        url='https://cn.investing.com/equities/amazon-com-inc-historical-data',
        headers={
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
        },
        impersonate="chrome101"
    )
    res.encoding = 'utf-8'
    print(res.text)

获取到网页：