爬取CSDN首页的所有文章
1.建立opener建立全局,urlopener和retrieve都可以用
2.request方式
使用opener来解决,声明为全局,用urllib.request.install_opener(opener)
这样urlopen以及retrieve都可以伪装成浏览器的方式去访问网页
什么是代理服务器?
是出于互联网中间服务器,如果使用代理服务器,浏览信息的时候,先向代理服务器发出请求,代理服务器再向要浏览的互联网获取信息,再返回给我们。
如果用户不断的向服务器发送信息,那么就会被要访问的服务器封ip,拨号换ip也不行,那么就用代理服务器,代理去请求。
可以用多个代理服务器去爬对应的网站,这样互联网就不知道不确定你的ip是多少,也没办法去封你的ip号
使用代理服务器去爬虫,这样可以很好解决ip的限制
import urllib.request
接下来可以设定一个函数,用函数实现ip代理的功能
def use_proxy():
urllib.request.ProxyHandler{{“http”}}
#首先使用request库下面的proxyhander方法,方法里面是一个字典,第一项是http第二项是代理服务器ip
def use_proxy(url,addtt):
proxy=urllib.request.ProxyHandler({“http”:addtt})#代理服务器和端口号配置好
#因为urlopen没办法适用高级的http的功能,要配置opener,地址和端口之间用冒号隔开
urlopen不支持高级的http功能
要使用的话就建立opener
第一个参数直接输入代理ip地址,第二个参数是httphander
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
申明为全局,那么就可以去爬,可以用urlopen
urllib.request.install_opener(opener) # 声明全局
data = urllib.request.urlopen(url).read().decode(“utf-8”, “ignore”)
return data
url=“http://baidu.com/”
addtt=“111.177.168.241:9999”
print(len(use_proxy(url,addtt)))