代理IP及代理在爬虫中的应用

代理:破解封IP这种反爬机制。
什么是代理:
    -代理服务器。代理的作用:
    -突破自身IP访问的限制。
    -隐藏自身真实IP
代理相关的网站:
-快代理
-西祠代理
-wwwiw.goubaniia.com
代理ip的类型:
    - http:应用到http协议对应的url中
    - https:应用到https协议对应的url中
代理ip的匿名度:
    -透明:服务器知道该次请求使用了代理，也知道请求对应的真实ip
    -匿名:知道使用了代理,不知道真实ip
    -高匿:不知道使用了代理,更不知道真实的ip

举例如下

import requests

url = 'https://www.sogou.com/tx?query=ip'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/73.0.3683.103 Safari/537.36 '
}
page_text = requests.get(url=url, headers=headers, proxies={"https": '113.254.178.224'}).text
with open('代理.html','w',encoding='utf-8') as fp:
    fp.write(page_text)