自定义opener && 代理ip && 处理get请求

自定义opener

from urllib import request

#构建HTTP处理器对象（专门处理请求的对象）
http_hander=request.HTTPHandler()

#创建自定义opener
opener=request.build_opener(http_hander)

#创建自定义请求对象
req=request.Request("http://www.baidu.com")

#发送请求，获取响应
#reponse=opener.open(req).read().decode()

#把自定义的opener设置为全局，这样用urlopen发送的请求也会使用自定义的opener；
request.install_opener(opener)

reponse=request.urlopen(req).read().decode()

print(reponse)

代理ip

from urllib import request
import random

#反爬虫措施2：判断请求来源的IP的地址
#措施：使用代理ip

proxylist=[
	{"http":"113.238.142.208:3128"},
	{"http":"113.238.142.208:3128"},
	{"http":"113.238.142.208:3128"},
	{"http":"113.238.142.208:3128"},
	{"http":"113.238.142.208:3128"}
] 
proxy=random.choice(proxylist)

#构建代理处理器对象
proxyHandler=request.ProxyHandler(proxy)

#构建自定义opeaner
opener=request.build_opener(proxyHandler)

#构建请求对象
req=request.Request("http://www.baidu.com")

res=opener.open(req)

print(res.read().decode())

处理get请求

from urllib import request
import urllib

#https://www.baidu.com/s?wd=%E5%8C%97%E4%BA%AC   #url编码

wd={"wd":"北京"}

url="http://www.baidu.com/s?"

#构造url编码
wdd=urllib.parse.urlencode(wd)

url=url+wdd

req=request.Request(url)  #创建自定义对象

reponse=request.urlopen(req).read().decode()

print(reponse)