爬虫入门1-urllib包基本使用

使用request模拟请求

res = request.urlopen('https://www.baidu.com')
print(type(res))  # <class 'http.client.HTTPResponse'>
print(res.read())

请求头设置User-Agent防止反爬虫

from urllib import request

url = 'https://www.baidu.com/'
header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 '
                 'Safari/537.36 '
}

rq = request.Request(url, headers=header)
resp = request.urlopen(rq)
print(resp.read())

使用ip代理发送请求 - proxyHandler

from urllib import request

url = 'http://httpbin.org/ip'
# resp = request.urlopen(url)
# print(resp.read()) # 没有使用代理输出Ip地址：b'{\n  "origin": "139.227.81.70"\n}\n'n

# 使用ip代理
# 1. 使用proxyHandler， 传入ip构造一个handler
hander = request.ProxyHandler({'http':'221.10.217.59:8888'})
# 2. 使用handler构造opener
opener = request.build_opener(hander)
# 3. 使用opener发送请求
resp = opener.open(url)
print(resp.read())