爬虫防屏蔽手段之代理服务器实战

最新推荐文章于 2023-03-12 16:17:59 发布

bus_lupe

最新推荐文章于 2023-03-12 16:17:59 发布

阅读量679

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/bus_lupe/article/details/100768459

版权

爬虫专栏收录该内容

19 篇文章 0 订阅

订阅专栏

使用代理服务器进行信息爬取，可以很好的解决IP限制的问题。
代理IP地址：https://www.xicidaili.com/nn/
代理IP遇到不能用的多尝试几个。

from urllib import request, error


# 使用代理服务器
def use_proxy(url, proxy_addr):
    # https://www.xicidaili.com/nn/
    proxy = request.ProxyHandler({'http': proxy_addr})
    opener = request.build_opener(proxy, request.HTTPHandler)
    # 添加为全局
    request.install_opener(opener)

    data = request.urlopen(url).read().decode('utf-8', 'ignore')
    return data


proxy_addr = '163.204.243.242:9999'

url = 'https://www.hao123.com/'
ret = use_proxy(url, proxy_addr)
print(ret)