requests模块使用——使用代理proxy

我们使用requests进行一些网络数据读取工作的时候会高频率的访问某些网站，为了防止我们的真实IP地址被对方拉黑，所以就需要再访问的时候使用假的IP地址，也就是所谓的代理

代理的逻辑就是在请发送和响应获取的中间部分设置一个可以操作的屏障，大概逻辑类似于下图

用法：直接在请求中添加参数 proxies="代理地址"

import requests

paramers = {"rtt": "1", "bsst": "1", "cl": "2", "tn": "news", "rsv_dl": "ns_pc", "word": "haha"}
# 配置代理地址，协议根据被访问网站的协议确定，代理地址有些不支持https，所以配置时务必看清楚
proxies = {"https":"https://122.245.246.194:3000"}
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"}
# 使用代理
response = requests.get("https://news.baidu.com/", params=paramers, headers=headers, proxies=proxies)

 

写在最后：代理地址请各位自行查找，本博客不提供代理地址