python爬虫代理

@TOC

前言

在对网站进行高频的获取数据时会面临这IP被对方服务器封的情况这时候我们就要使用代理ip实现继续爬取

在百度搜索免费的代理网站

这个网站会有一批免费的代理ip

代码实现

# 携带代理发送请求，获取源代码
import requests
url = "https://www.baidu.com"
# 代理信息
# 代理是是什么超文本连接协议装载代理时 就是什么超文本协议
proxies = {
           "http":"https://47.92.113.71:80"
}

respen = requests.get(url=url,proxies=proxies)
respen.encoding="utf-8"
respen_text = respen.text
print(respen_text)
#代理IP地址：
# 61.164.39.68
# 代理端口;
# 53281

respen.close()