python-urllib库学习笔记

 

import urllib.request, urllib.parse
'''
urllib常用的请求语句
'''
url = ''
# 发送请求
res = urllib.request.urlopen(url=url)
# 读取请求到的内容
res.read().decode('utf-8')
# 写入文件
with open('save_file.html', 'w', encoding='utf-8') as cp:
    cp.write(res.read())
# 发送请求url含有中文需要进行编码quote();解码用unquote()
urllib.parse.quote(url)
# 下载保存
urllib.request.urlretrieve(url=url, filename='baidu.html')
# 构建请求头,不要带-请求头里面'Accept-Encoding': 'gzip, deflate'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
# 构建一个高级请求对象需要添加请求头 headers
req = urllib.request.Request(url=url, headers=headers)
# 发送请求 timeout:请求时间超过1秒则放弃请求
urllib.request.urlopen(req, timeout=1)
'''
post请求需要增加data数据
'''
# 将要发送的数据合成一个字典, 从网页分析post中的formData数据
data = {
    'from': 'en',
    'to': 'zh',
}
# 对要发送的数据进行打包
data = urllib.parse.urlencode(data).encode('utf-8')
# 请求体
req = urllib.request.Request(url=url, headers=headers, data=data)
'''
更高级的功能就要使用handler和opener，
步骤都是首先创建一个handler，然后创建一个opener，
然后通过opener的open方法来发送请求
'''
# 实例一个handle类
handler = urllib.request.HTTPHandler()
# 根据handle来创建一个opener
opener = urllib.request.build_opener(handler)
# 构建一个请求体
request = urllib.request.Request(url=url, headers=headers)
# 通过opener.open()发送请求
opener.open(request)
'''
代理
'''
request = urllib.request.Request(url=url, headers=headers)
# 设置Proxyhandle代理
handler = urllib.request.ProxyHandler(proxies={'http':'101.236.21.22:8866'})
# 根据handle创建一个opener
opener = urllib.request.build_opener(handler)