Python中代理服务器的设置（requests、urllib）

最新推荐文章于 2024-09-07 13:00:00 发布

baidu_252253

最新推荐文章于 2024-09-07 13:00:00 发布

阅读量3k

点赞数

分类专栏：爬虫代理

本文链接：https://blog.csdn.net/baidu_32542573/article/details/81706714

版权

本文介绍了如何在Python中使用urllib和requests设置代理服务器，包括处理代理失效的情况。并提供了一个实例，展示如何建立代理IP池，通过MySQL数据库随机选择可用代理。

摘要由CSDN通过智能技术生成

urllib 方式

def user_proxy(proxy_addr, url):
    import urllib.request
    proxy = urllib.request.ProxyHandler({'http': proxy_addr})
    opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    return data


proxy_addr = "114.82.109.134:8118"
data = user_proxy(proxy_addr, "https://www.baidu.com")
print(data)
print(len(data))

如果此时代理服务器地址失效或者填写错了代理服务器，则会发生错误。

requests 方式

import requests

ip, port = ("111.201.81.189", "8118")
url = 'http://www.163.com/'
proxy_url = "http://{0}:{1}".format(ip, port)

print(proxy_url)

proxy_dict = {
    "http": proxy_url
}

response = requests.get(url, proxies=