requests的作用
作用:发送网络请求,返回响应数据,requests对象的get和post方法都会返回一个Response对象,这个对象里面存的是服务器返回的所有信息,包括响应头,响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。
response = requests.get(url)
response的常用方法:
response.text
response.content
response.status_code
response.request,headers
response.headers
response.text 和response.content的区别
response.text
类型:str
解码类型:根据HTTP头部对响应的编码做出有根据的推测,推测的文本编码
如何修改编码方式:response.encoding=”gbk”
response.content
类型:bytes
解码类型:没有指定
如何修改编码方式:response.content.decode(“utf8”)
两者区别在于,content中间存的是字节码,而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。
直接输出content,会发现前面存在b’这样的标志,这是字节字符串的标志,而text是,没有前面的b,对于纯ascii码,这两个可以说一模一样,对于其他的文字,需要正确编码才能正常显示。大部分情况建议使用.text,因为显示的是汉字,但有时会显示乱码,这时需要用.content.decode(‘utf-8’),中文常用utf-8和GBK,GB2312等。这样可以手工选择文字编码方式。
所以简而言之,.text是现成的字符串,.content是字节码还要编码,但是.text不是所有时候显示都正常,这是就需要用.content进行手动编码。
例子:
-
#!usr/bin/env python
-
# -*- coding: UTF-8 -*-
-
"""
-
@author:binbinzhang
-
@file: 1.py
-
@time: 2018/04/27
-
@email:binbin_Erices@163.com
-
@function:
-
"""
-
import requests
-
response = requests.get(
'https://www.google.com')
-
re_text = response.text
-
re_content = response.content
-
print (re_text)
-
print (type(re_text))
-
print (re_content)
-
print (type(re_content))
-
response.encoding =
'utf-8'
-
re_text = response.text
-
print (re_text)