urllib库的使用

ProxyHandle处理器（代理设置）
代理服务器，每隔一段时间换一个代理，就算IP被禁用，也可以换IP继续爬取
自定义opener来处理

示例代码
handler = request.urlopen((“http”:”218.66.161.88:31769”))
opener = request.build_opener(handler)
req = request.Request(“http://httpbin,org/ip”)
resp = opener.open(req)
print(resp.read())

cookie 格式
set-Cookie: NAME=VALUE: Expires/Max-age=DATE: path=PATH: Domain=DOMAIN_NAME: SECURE

使用cookie登陆的代码示例：
//不实用cookie去请求主页
dapeng_url = “…”
headers = {‘User_Agent’:…}
req = request.Request(url = dapeng_url, headers = headers)
resp = request.urlopen(req)
print(respect.read().decode(‘utf-8’))
//fp.write(resp)

http.cookierjar 模块
该模块主要的类有：CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar

from urllib import request
From http.cookierjar import CookieJar

cookierjar = cookierJar()
Handler = request.HTTPCookieProcessor(cookiejar)