urllib

urllib:get请求
#创建一个request对象
#url :目标url地址
## data=None,:默认为None，表示是一个get请求,反之为post
# headers = {}:请求头
headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2767.400’
}
req = request.Request(
url=‘http://www.baidu.com’,
headers=headers
)
# context=None：忽略ssl认证**
code = response.code #响应状态码
content = response.read() #获取页面源码
headers = response.headers #匹配响应头**

urllib_post
#构建request对象(添加请求头)
req = request.Request(url=url,data=data,headers=headers)

json.loads():将json字符串，转换为python数据类型

json.load():将本地文件中的json字符串，转换为python数据类型

json.dumps()：将python数据类型转换为json字符串

json.dump():将python数据类型转换为json字符串并写入到本地文件

print(content,type(content))
#dict类型的取值方式
print(result[‘token’])
#get 取值可以有默认值
print(result.get(‘token’,‘暂无’))

urllib_proxy
context = ssl.create_default_context()
https_handler = request.HTTPSHandler(
debuglevel=1,#追踪相应结果
context=context,#忽略证书
)

根据处理器，自定义opener
opener = request.build_opener(https_handler,proxy_handler)

##将opener设置为全局的opener，这时候使用urlopner方法发起请求就会只用自定义的opener
request.install_opener(opener)

urllib_paser:
parse.urlencode():将字典类型的参数转为url编码格式
parse.parse_qs():将url编码格式的字符串转化为字典类型
parse.quote()将中文字符转为url编码的字符
parse.unquote()将url编码的字符转换为中文字符
parse.urljoin将不完整的url参照基类url,拼接完整
parse.urlparse():将url进行拆分
parse.urlunparse():将url的各个部分合并为一个完整的url