import urllib.request
import http.cookiejar
url = "http://www.baidu.com"
print('第一种方法:最简洁方法')
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
print('第二种方法:添加data, http header')
req = urllib.request.Request(url)
req.add_header('user-agent', 'Mozilla/5.0')
response2 = urllib.request.urlopen(req)
print(response2.getcode())
print(len(response2.read()))
print('第三种方法:添加特殊情景的处理器')
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read().decode('utf-8'))
输出
第一种方法
200
112048
第二种方法
200
112459
第三种方法
200
<CookieJar[<Cookie BAIDUID=22E4.....
<!DOCTYPE html>