使用代理服务器，进行爬取

爬取CSDN首页的所有文章
1.建立opener建立全局，urlopener和retrieve都可以用
2.request方式

使用opener来解决，声明为全局，用urllib.request.install_opener(opener)
这样urlopen以及retrieve都可以伪装成浏览器的方式去访问网页

什么是代理服务器？
是出于互联网中间服务器，如果使用代理服务器，浏览信息的时候，先向代理服务器发出请求，代理服务器再向要浏览的互联网获取信息，再返回给我们。
如果用户不断的向服务器发送信息，那么就会被要访问的服务器封ip，拨号换ip也不行，那么就用代理服务器，代理去请求。

可以用多个代理服务器去爬对应的网站，这样互联网就不知道不确定你的ip是多少，也没办法去封你的ip号

使用代理服务器去爬虫，这样可以很好解决ip的限制
import urllib.request
接下来可以设定一个函数，用函数实现ip代理的功能
def use_proxy():
urllib.request.ProxyHandler{{“http”}}
#首先使用request库下面的proxyhander方法,方法里面是一个字典,第一项是http第二项是代理服务器ip
def use_proxy(url,addtt):
proxy=urllib.request.ProxyHandler({“http”:addtt})#代理服务器和端口号配置好
#因为urlopen没办法适用高级的http的功能，要配置opener,地址和端口之间用冒号隔开

urlopen不支持高级的http功能

要使用的话就建立opener

第一个参数直接输入代理ip地址,第二个参数是httphander

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)

申明为全局，那么就可以去爬，可以用urlopen

urllib.request.install_opener(opener) # 声明全局
data = urllib.request.urlopen(url).read().decode(“utf-8”, “ignore”)
return data

url=“http://baidu.com/”
addtt=“111.177.168.241:9999”
print(len(use_proxy(url,addtt)))