Python爬虫Requests模块中text和content的解码

最新推荐文章于 2024-08-08 14:28:23 发布
最新推荐文章于 2024-08-08 14:28:23 发布
阅读量1.1w 收藏 55
点赞数 25
文章标签： python 字符串
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46397094/article/details/105349772
版权

今天要说一下Requests模块中爬取到网页内容解码方式

response.text和 response.content两者的区别

requests对象的get和post方法都会返回一个Response对象， 这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返 回的网页部分会存在.content和.text 两 个对象中
两者区别在于，content中间存的是字节流数据 ，而text中存的是根据requests模块自己猜测的编码方式将content内容编码成Unicode
 
常常我们使用requests.content输出的内容是需要解码的（因为网页上的内容是编码而成的，而在Python中字符串形式是以Unicode形式存在的，当然我们只想看到那些字符串，不想看到那些乱七八糟的字节，所以我们爬下来的东西才需要去解码）
 
那我们怎么去编码呢（重点重点）
在写代码之前我们应该找到网页的编码方式
 

首先要到爬取得网页上找该网页的编码方式

步骤：F12==》》Elements（网页源码）==》》找到<head>里面的charset标志，所对应的就是该网页的编码方式啦

 

得到网页的编码方式就可以继续写代码啦

 1.使用content输出

print(response.content.decode('utf-8')）  #decode（'utf-8'）的意思是以utf-8的编码的方式解码为Unicode

2.使用text输出

response.encoding = 'utf-8'  #为请求的网页指定该网页的编码方式，这样text输出的时候，就不会瞎猜编码方式，而解出乱七八糟的鬼
print(response.text)

参考代码（上面的response都是从参考代码里面来的）

import requests


kw = {'wd':'巴基斯坦'}


headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}


# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
#这就是requests库的其中一个方便的地方

response = requests.get("http://www.baidu.com/s", params = kw, headers = headers)


# 查看响应内容，response.text 返回的是Unicode格式的数据
print(response.text)


# 查看响应内容，response.content返回的字节流数据
print(response.content)


# 查看完整url地址
print(response.url)


# 查看响应头部字符编码
print(response.encoding)


# 查看响应码
print(response.status_code)

 

有人看到这里就有疑问了，那我用print（response.encoding）来查看网页的编码方式

然后再来解码不行么？？？不行么？？？不行么？？？（你敢说不行我抽到你痉挛）

 

答案：当然是OK的啦哈哈哈哈哈哈（所以这是一个大彩蛋，到这样就有两种方式获得网页编码方式啦）

不过呢有时候可能会出错：比如爬百度用print（response.encoding）得到的是ISO-8859-1单字节编码

可是我去百度网址按F12查看的确是‘utf-8’编码，然后我果断用utf-8解码，因为单字节编码无法表示中文哦！

所以有时候出错的时候，可以就试一试这两种方法（目前我知道的就是这两种啦，因为我还是一个小白）

个个都是爱动脑筋的帅哥美女.....嘻嘻嘻嘻嘻（都这样说了还不给我“赞”？）

----------------------------------------------------------------------------------------------

 

当然有人会问啦，这个编码破东西有点不理解，能不能在帮我梳理梳理

哈哈哈哈哈哈，先给我点个赞赞赞赞

知识大放送：

encode()和decode()的区别和意思

decode英文意思是 解码，encode英文意思是 编码

字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码， 即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str101.decode('utf-8')，表示将utf-8编码的字节串str101转换成unicode编码

encode的作用是将unicode编码转换成其他编码的字符串，如str101.encode('gb2312')，表示将unicode编码的字符串str101转换成gb2312编码

差不多是这个意思啦哈哈哈哈哈

最后献上一张宝图（对各位靓仔靓妹有帮助的，记得给我集个赞呀）

当服务员的料
关注
  • 25
    点赞
  • 踩
  • 55
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3中关于encode与decode的使用方法，且含有（.content和.text方法），解决小说爬虫的中文乱码问题
zelada的博客
09-21 4272
python3中关于encode与decode的使用方法，且含有（.content和.text方法），解决小说爬虫的乱码问题 python3中，单独的decode不能使用，若没有同时安装Python2与python3。 本人参考了居多博主资料后，使用以下方法可解决，例如： import requests import urllib3 urllib3.disable_warnings() #去除...
3.1.10 Python中requests模块
08-18 680
requests模块介绍 requests的宗旨是服务于人类，从这个宣传可以知道requests实现HTTP操作的简单性。requests使用的是urllib3，它继承了urllib2的所有特性，所以将connection状态置为keep-alive，多次请求使用一个连接，消耗更小的资源。requests的功能特性： 支持HTTP连接保持和连接池； 支持使用cookie保持会话； 支持文件上传； 支持自动确定响应内容的编码； 支持国际化的URL和...
requests爬虫【中文乱码】的3种解决方法
2301_77195717的博客
10-13 1196
使用requests库时，选择使用的文本响应方法不合适，以至于使用【requests.text】自动获取到的网页编码与实际网页的编码不一致，导致中文乱码。在这里请注意【requests.text】与【requests.content】最大的区别在于后者常用于图片和视频，且不会解码，直接以二进制形式返回。由于习惯，使用requests库时，常用【requests.text】进行文本响应，1.直接将requests.text换成requests.content。3.指定编码格式为UTF8。
python3 爬虫相关学习3：response= requests.get(url)的各种属性
奔跑的犀牛先生
05-15 5665
print(response.content.decode()) # 注意这里！utf-8编码，utf-16编码，utf-32编码。中文GBK，英文ASCII ，繁体中文big5。共收录了21003个汉字，883个字符。编码范围是0x8140~0xFEFE。utf-8编码带BOM 和 无BOM的。(1个字节是8位2进制)utf-8 兼容 ascii。(2个字节是16位)标准ascii 字符集。扩展ascii 字符集。Unicode字符集。
requests content decode_爬虫篇 | 认识Python最最最常用语重要的库Requests
weixin_39985842的博客
11-26 260
requests content decode_一招大幅提升 requests 访问速度
weixin_39895995的博客
11-26 89
作者：kingname我做了一个垃圾信息过滤的 HTTP 接口。现在有一千万条消息需要经过这个接口进行垃圾检测。一开始我的代码是这样的：import requestsmessages = ['第一条', '第二条', '第三条']for message in messages: resp = requests.post(url, json={'msg': message}).json() ...
解决乱码问题content.decode(jbk)
03-29 2845
第1种方式：content.decode('gbk') url = 'http://pic.netbian.com'#res=requests.get(url=url)#解决乱码问题content.decode('jbk')res = requests.get(url=url).content.decode('gbk') #print(res.text) 加了 gbk后，就要去掉...
requests content decode_小技巧：大幅度提高requests的访问速度
weixin_39933026的博客
11-26 380
摄影：产品经理与产品经理环游世界我做了一个垃圾信息过滤的 HTTP 接口。现在有一千万条消息需要经过这个接口进行垃圾检测。一开始我的代码是这样的：import requestsmessages = ['第一条', '第二条', '第三条']for message in messages: resp = requests.post(url, json={'msg': message}...
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
两万字博文教你python爬虫requests库详解篇.pdf
05-23
【Python 爬虫 Requests 库详解】 Requests 是 Python 中广泛使用的 HTTP 客户端库，因其简洁易用而备受青睐。它专为人类设计，是 Python 软件包中最受欢迎的一个，每天的下载量超过 400,000 次。与标准库 urllib ...
Python爬虫requests库教程(附案例)
03-21
Requests是Python中一个...总的来说，Requests库以其简洁的API、强大的功能和良好的社区支持，成为了Python爬虫开发者的首选工具。无论你是初学者还是经验丰富的开发者，Requests都能帮助你高效地完成HTTP请求任务。
Python爬虫requests库多种用法实例
09-16
Python的requests库是进行网络请求最常用的工具之一，尤其在...requests库的灵活性和易用性使得它成为了Python中不可或缺的工具之一。在实际应用中，还可以结合BeautifulSoup、re等库进行更深入的数据解析和匹配操作。
使用requests库制作Python爬虫
09-20
总的来说，`requests`库以其简洁的API和强大的功能，成为了Python爬虫开发的首选工具。通过熟练掌握`requests`库，可以高效地完成各种网络数据抓取任务，无论是简单的网页抓取还是复杂的API交互，都能轻松应对。在...
解决requests.text乱码问题content.decode()
fulk6667g78o8的专栏
02-22 2226
解决乱码问题content.decode(jbk)
requests content decode_ALLEN老师接口测试小课堂 | Requests简介及安装
weixin_39834328的博客
11-26 109
Requests allows you to send HTTP/1.1 requests extremely easily. There’s no need to manually add query strings to your URLs, or to form-encode your POST data. Keep-alive and HTTP connection pooling are...
python3 的text、content、json的使用
joob000的博客
08-29 2549
resp.text返回的是Unicode型的数据。  resp.content返回的是bytes型的数据。  也就是说，如果你想取文本，可以通过r.text。  如果想取图片，文件，则可以通过r.content。  （resp.json()返回的是json格式数据）  ...
python 爬虫 爬取json格式数据 简单实例
梅花14的博客
06-28 5672
这里以爬取搜狗壁纸的图片的url为例，废话不多说，直接上代码 import requests url = "https://pic.sogou.com/pics?query=%C3%A8&mode=1&start=48&reqType=ajax&reqFrom=result&tn=0" res = requests.get(url).json() #...
requests content decode_requests接口测试
weixin_39991926的博客
11-26 225
requests工作原理 通过追踪代码，可以发现requests实际上是调用了request方法，源码如下：method, url是必填参数，其他是可选参数。参数method，有GET,OPTIONS,HEAD,POST,PUT,PATCH,DELETE。可选参数可以发送data、json、headers、cookies、flies、auth、timeout、proxies、verify、stre...
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 899
1.定义2.安装3. 案例。
python爬虫requests的text
09-02
### 回答1： 在使用 Python 的 requests 库发起 HTTP 请求时，可以通过调用响应对象的 text 属性来获取响应的文本内容。例如： ```python import requests response = requests.get('https://www.example.com') print(response.text) ``` 上述代码会向 https://www.example.com 发起一个 GET 请求，并将响应的文本内容打印输出。需要注意的是，响应的文本内容可能会根据响应头中的 Content-Type 属性而有所不同，如 HTML 页面、JSON 数据等。在解析响应内容时，我们需要对响应类型进行判断，以便正确地处理响应内容。 ### 回答2： Python爬虫库中的requests库是一个非常常用的库，它提供了简洁而丰富的接口，用于发送HTTP请求和处理响应。其中，requests库中的text属性是用来获取响应的内容的。 在使用requests库发送请求后，可以通过response对象的text属性来获取服务器返回的响应内容。text属性返回的是Unicode型的内容，也就是网页的HTML源代码或者是接口的返回数据。 使用text属性可以很方便地获取网页的内容，然后进行解析和提取所需的数据。可以将获取到的内容保存到本地文件中，或者使用正则表达式或解析库（如BeautifulSoup）进行进一步的处理。 需要注意的是，text属性获取的内容可能会出现乱码或编码问题。对于出现乱码的情况，可以通过设置response对象的encoding属性来进行解决。另外，如果响应的内容不是文本类型（如图片、音频、视频等），那么使用text属性获取的结果可能是乱码或者不正确的，此时可以使用content属性获取二进制数据。 总之，requests库中的text属性是获取请求响应内容的一个重要属性，它为我们进行网页爬取和数据提取提供了便利。 ### 回答3： Python 爬虫中使用 requests 库的 text 属性是用来获取请求返回的内容。具体而言，文档中 text 属性返回的是以 Unicode 编码的文本内容，通常是 HTML 页面的内容。在使用 requests 库发送请求后，可以通过调用 text 属性来获取正文内容。 使用 text 属性的方法如下： 1. 导入 requests 模块，使用 `import requests`。 2. 发送请求并获取响应，例如使用 `response = requests.get(url)` 方法。 3. 调用获取的响应对象的 text 属性，例如使用 `response.text`。 这样就可以获取到请求返回的内容。可以通过打印 text 的结果来查看爬取到的网页内容。需要注意的是，text 属性返回的是以 Unicode 编码的文本内容，如果要保存到文件或进行其他操作，可能需要进行一些编码或解码的处理。 总之，Python 爬虫中的 requests 库的 text 属性是用来获取请求返回的内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值