ProxyHandle处理器(代理设置)
代理服务器,每隔一段时间换一个代理,就算IP被禁用,也可以换IP继续爬取
自定义opener来处理
示例代码
handler = request.urlopen((“http”:”218.66.161.88:31769”))
opener = request.build_opener(handler)
req = request.Request(“http://httpbin,org/ip”)
resp = opener.open(req)
print(resp.read())
cookie 格式
set-Cookie: NAME=VALUE: Expires/Max-age=DATE: path=PATH: Domain=DOMAIN_NAME: SECURE
使用cookie登陆的代码示例:
//不实用cookie去请求主页
dapeng_url = “…”
headers = {‘User_Agent’:…}
req = request.Request(url = dapeng_url, headers = headers)
resp = request.urlopen(req)
print(respect.read().decode(‘utf-8’))
//fp.write(resp)
http.cookierjar 模块
该模块主要的类有:CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar
from urllib import request
From http.cookierjar import CookieJar
cookierjar = cookierJar()
Handler = request.HTTPCookieProcessor(cookiejar)