python爬虫——代理IP

代理：破解封IP这种反爬机制。

什么是代理：

• 代理服务器。

代理的作用：

• 突破自身IP访问的限制。
• 隐藏自身真实IP

代理相关的网站：
- 快代理

• 西祠代理
• www.goubanjia.com
• https://ip.jiangxianli.com/?page=1

代理ip的类型：

• http：应用到http协议对应的url中
• https：应用到https协议对应的url中

代理ip的匿名度：

• 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
• 匿名：知道使用了代理，不知道真实ip
• 高匿：不知道使用了代理，更不知道真实的ip

代理在爬虫中的应用：

import requests


url = 'http://ip.293.net'
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
# page_text = requests.get(url=url, headers=headers).text
page_text = requests.get(url=url, headers=headers, proxies={"http":'51.91.122.208:80'}).text

with open('ip.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)