python爬虫之代理IP

python爬虫之代理IP

代理：破解封IP这种反爬机制。
什么是代理：代理服务器。
代理的作用：
1、突破自身IP访问的限制。2、隐藏自身真实IP。
代理相关网站：快代理
代理IP的类型：
1、http：应用到http协议对应的url中
2、https：应用到https协议对应的url中
代理IP的匿名度：
1、透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
2、匿名：知道使用了代理，不知道真实ip
3、高匿：不知道使用了代理，更不知道真实ip
实现流程：
1、百度浏览器搜索ip,即可查看电脑ip

2、代理前查看ip代码如下：

#需求：
import requests
url = 'http://www.baidu.com/s?wd=ip'
headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Mobile Safari/537.36 Edg/116.0.1938.76'
}
page_text = requests.get(url=url,headers=headers).text
with open('ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

3、查看免费代理ip有如下所示：

4、代理后查看ip代码如下：

#需求：
import requests
url = 'http://www.baidu.com/s?wd=ip'
headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Mobile Safari/537.36 Edg/116.0.1938.76'
}
page_text = requests.get(url=url,headers=headers,proxies={"http":'172.67.185.168'}).text
with open('ip.html','w',encoding='utf-8') as fp:
    fp.write(page_text)