爬虫防屏蔽手段之代理服务器

所谓代理服务器，是一个处于我们与互联网中间的服务器，如果如果使用代理服务器，我们浏览信息的时候，先向代理服务器发出请求，然后代理服务器向互联网获取信息，再返回给我们。

 

使用代理服务器进行信息爬取，可以很好的解决IP限制的问题。

import urllib.request

 

import re

 

 

#定义一个函数,实现代理服务器的功能  http://www.xicidaili.com/查找代理服务器的网址

 

 

def use_proxy(url,IP):

    proxy=urllib.request.ProxyHandler({"http":IP})

    opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

    #添加为全局

    urllib.request.install_opener(opener)

    data=urllib.request.urlopen(url).read()

    data=data.decode("utf-8","ignore")

    return data

IP="61.135.217.7:80"

#IPS=["","","",……]IP池   多个代理服务器进行爬取，循环爬取即可

url="http://www.baidu.com"

data=use_proxy(url,IP)

print(len(data))

 

    import urllib.request

 

    import re

 

 

    #定义一个函数,实现代理服务器的功能  http://www.xicidaili.com/查找代理服务器的网址

 

 

    def use_proxy(url,IP):

        proxy=urllib.request.ProxyHandler({"http":IP})

        opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)

        #添加为全局

        urllib.request.install_opener(opener)

        data=urllib.request.urlopen(url).read()

        data=data.decode("utf-8","ignore")

        return data

    IP="61.135.217.7:80"

    #IPS=["","","",……]IP池   多个代理服务器进行爬取，循环爬取即可

    url="http://www.baidu.com"

    data=use_proxy(url,IP)

    print(len(data))