爬虫笔记（四）——代理服务器的设置

最新推荐文章于 2024-06-21 20:09:39 发布

weixin_34198453

最新推荐文章于 2024-06-21 20:09:39 发布

阅读量308

点赞数

原文链接：http://www.cnblogs.com/longwhite/p/10397766.html

版权

使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。（使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址）。给大家推荐一个网址：http://www.xicidaili.com/，这上面有免费的代理Ip。我们尽量找验证时间比较短的，这样的成功率会比较大。

我们可以看到图片的第一个ip地址，101.236.60.48，对应的端口号为8866，则完整的格式为：“ip地址：端口号",即101.236.60.48：8866。选择好代理ip地址后，我们就可以进行相应的程序编写了，可以使用以下程序，实现通过代理服务器来爬取网站内容。

import urllib.request
import urllib.parse

url = "https://mp.csdn.net/postlist/list/enable"
proxy = urllib.request.ProxyHandler ({'http':'101.236.60.48：8866'})
opener = urllib.request.build_opener(proxy)
opener.addheaders = [('User-Agent','Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45')]
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read()
print (len(data))
fhandle = open('/home/wl/csdn.html','wb')
fhandle.write(data)
fhandle.close()