8. python爬虫——代理的介绍和使用方式

1、介绍

代理便是代理服务器的意思，它可以用来破解封IP这种反爬机制。

（1）作用：1. 突破自身IP访问的限制；2. 隐藏自身真实IP

（2）相关网站推荐：
快代理；www.goubanjia.com；https://ip.ihuan.me/

（3）代理ip的类型：

• http：应用到http协议对应的url中
• https：应用到https协议对应的url中

（4）代理ip的匿名度：

• 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
• 匿名：知道使用了代理，不知道真实的ip
• 高匿：不知道使用了代理，也不知道真实的ip

（5）功能模块：
使用request.get中的proxies

代码

import requests

if __name__ == "__main__":
    url = 'https://www.baidu.com/s?ie=UTF-8&wd=ip'
    headers = {
        'User-Agent':'Mozilla/....
    }
    proxies = {
        'https':'111.47.154.34'
    }
    response = requests.get(url=url,headers=header,proxies=proxies)
    page_text = response.text
    with open('./proxy.html','w',encoding='utf-8') as fp:
        fp.write(page_text)

拓展资料

【Python3】基于Requests库的爬虫代理ip的配置以及使用

python爬虫——requests库使用代理