python爬虫教程--代理服务器

最新推荐文章于 2024-09-04 18:00:04 发布

前段被迫创业

最新推荐文章于 2024-09-04 18:00:04 发布

阅读量1.5k

点赞数

分类专栏： Python爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_63009369/article/details/129476595

版权

本文介绍了在Python爬虫中如何设置代理服务器，以避免IP被目标网站屏蔽，以及如何开启DebugLog进行程序运行时的日志打印。通过ProxyHandler和build_opener方法配置代理，使用HTTPHandler和HTTPShandler设置debuglevel来实现日志调试。

摘要由CSDN通过智能技术生成

一.代理服务器设置

如果使用同一个IP去爬取一个网站的网页，时间久了会别该网站服务器屏蔽，所以，为了防止出现自己的IP被网站服务器屏蔽的事情发生，我们可以使用比如的IP，就算别屏蔽了，也是别人的IP，如果不知道怎么找代理服务器的可以到网上找

首先我们介绍几个方法：

ProxyHandler() 方法：这个是设置对应的服务器信息，设置格式如下：url.request.ProxyHandler({'http':代理服务器的地址})

build_open()方法：这个方法创建一个自定义的opener对象

例如：

def use_proxy(proxy_addr,url):
    import urllib.request
    proxy=urllib.request.ProxyHandler({'http':proxy_addr})
    opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data=urllib.request.urlopen(url).read().decode('utf-8')
    return data
proxy_addr="202.75.210.45:7777"
data=use_proxy(proxy_addr,"http://www.baidu.com