requests返回数据编码问题

最新推荐文章于 2024-08-07 02:07:05 发布
最新推荐文章于 2024-08-07 02:07:05 发布
阅读量3.7k 收藏
点赞数
分类专栏： Python 文章标签： python 乱码 url requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/J_z10/article/details/51252102
版权

以前常用Python的requests包做一些比较基本的东西，很少遇到中文乱码的问题。
requests也有自己对应解码方式，但是有时候不太好使。
比如

>> import requests
>> url = 'http://internet.baidu.com/'
>> rsp = requests.get(url)

大家查看该url源码可以看到 charset=gb2312
如果此时用 rsp.text，那么就会出现一堆乱码
这里写图片描述
但是我们可以强制指定

>> rsp.encoding = 'gb2312'

这里写图片描述
此时再rsp.text就是熟悉的unicode编码了。
但是如果有的url不是gb2312编码怎么办？我们可以通过

>> rsp = requests.get(url)
>> rsp.apparent_encoding
'gb2312'
>> rsp.encoding = rsp.apparent_encoding

这样来先识别，再赋值， 就没有问题了。
就可以直接使用rsp.text

J_z10
关注
专栏目录
记一次requests.get()返回数据乱码问题
weixin_42551921的博客
05-13 969
搜索发现：造成乱码除了编码格式方面外，另外还有可能是因为压缩格式导致的。在请求头中，‘Accept-Encoding’是浏览器发给服务器，声明浏览器支持的编码类，一般有gzip,deflate,br 等等。很多网站都是以gzip的格式来输出页面，此时输出response.content和response.text时会自动解压，但是当以br格式压缩时，却不会自动解压；Brotli是一种由 Google开发的全新压缩算法,可以有效减小传输内容大小，加速分发效果。
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，这可以查看这篇文章。这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。 import requests res=requests.get("https://www.baidu.com") print res.content 以上就是使用requests进行简单的网页请求数据的方式。但是很容易出现乱码的问题。 我们可以通过在网页上右击查看源代码中查看编码方式：content=”text/html;charset=utf-8″-> 我们便可以
根据指定的编码格式返回请求的参数集合
weixin_30764137的博客
08-29 93
在平时的应用中，经常需要通过post或者get方式接收来自于不同站点的url请求，而请求的编码格式又可能会有所不同，因此实现了如下的方法，用于解决用指定的编码从post或者get中提取用户请求的参数。 有关用户编码方式，可能受到用户请求方式的不同（如纯粹的url请求，或者在文档中的form请求），会导致相应的编码方式的不同，由于没有找到对编码识别的好的办法，目前本人采用的方式基本是要求用户传...
python requests返回json解析
最新发布
weixin_30488835的博客
08-07 220
Python Requests 返回 JSON 解析 在现代应用开发中，网络请求是不可或缺的一部分。Python 的 requests 库以其简单易用的特点，成为了进行 HTTP 请求的热门选择。本文将介绍如何使用 requests 库获取 JSON 数据并进行解析，我们还将结合饼状图和旅行图进行进一步的理解。 安装 re...
Request获取请求数据中文乱码问题
HuanLe.的博客
11-17 7785
Tomcat在7以及更低版本时，解析中文的字符集默认为ISO-8859-1，并且是在底层写死的，所以浏览器发送Get请求或者时Post请求时，字符集格式不匹配，从而引发中文乱码。但是Tomcat更新到8版本后，默认字符集就更换为了UTF-8。
Python爬虫 解决requests 中文乱码问题
weixin_40857979的博客
08-10 3301
import requests response=requests.get(url) response.encoding = 'utf-8'  
Python requests 中文乱码问题解决方案
weixin_42927927的博客
03-22 7361
方案一：requests请求成功时，设置它的编码 注：前提是知道它的编码，一般通过鼠标右键网页就可以查看网页原代码 方案二：利用apparent_encoding 注：apparent_encoding本质上是requests本身对网页源码的猜测，如果猜不到，会返回None 方案三：先解成二进制，之后再转成想要的编码方式 方案四：修改headers里的Accept-Encoding参数，如下： ...
解决python3中的requests解析中文页面出现乱码问题
09-19
总的来说，解决requests在Python 3中解析中文页面出现乱码问题的关键在于正确设置`response.encoding`属性。在实际开发中，应对不同编码的网页有充分的认识，合理处理编码问题，确保数据的正确解析。在编写爬虫或...
requests返回值乱码_python --- request返回值乱码问题
weixin_39633976的博客
01-14 1483
1、分析a)《HTTP权威指南》里第16章国际化里提到，如果HTTP响应中Content-Type字段没有指定charset，则默认页面是'ISO-8859-1'编码。一般现在页面编码都直接在html页面中这处理英文页面当然没有问题，但是中文页面，就会有乱码了！b)分析requests的源代码发现，content是urllib3读取回来的原始字节码，而text不过是尝试对content通过编码方式...
【异常】JSON返回的数据中文乱码问题
本本本添哥
03-30 1697
服务器返回的是utf-8，jsp页面上也是utf-8，数据库也是utf-8，怎么就是乱码了呢？
解决Requests中文乱码问题
m0_56212431的博客
08-19 1342
来自：https://blog.csdn.net/chaowanghn/article/details/54889835 分析： 在使用requests模块爬取数据时，爬取的网页经常容易出现乱码问题，如下： 对于： res = requests.get(url) res.text 返回的是Unicode型的数据,一般用于读取文本。 res.content 返回的是bytes型的数据，一般用于读取文件、图片。 解决办法 1. 使用 res.content 转化为byte型，再转化为str型 # 方式1
python中——requests爬虫【中文乱码】的3种解决方法
2301_82000445的博客
01-25 1万+
👉Python学习路线汇总👈Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）👉Python必备开发工具👈。
Requests出现乱码，一次解决！
AI悦创·编程私教1v1
08-23 1548
你好，我是悦创。 回顾一下爬虫的小基础小知识点。 1. Python 爬虫基础 1.1 Web 基础概念 写爬虫必须弄懂的问题： 从输入网址到看到网页，都发生了什么？ 这个问题是个经典问题，如果你去面试一些公司的时候涉及到一些网站开发也好，爬虫也好，反正跟网络相关的他肯定都会问这个问题。弄清这个过程是至关重要的。 URL 的概念 统一资源定位符：Uniform Resource Locator 这个也是需要我们搞清楚的，我们了解的。因为，我们一般需要抓取网页之后又要再次的解析网站，然后解析内部
【中文乱码】爬虫requests返回值中文乱码问题处理
宋建国的博客
01-03 2657
【代码】【中文乱码】爬虫requests返回值中文乱码问题处理。
requests爬虫【中文乱码】的3种解决方法
2301_77195717的博客
10-13 1269
使用requests库时，选择使用的文本响应方法不合适，以至于使用【requests.text】自动获取到的网页编码与实际网页的编码不一致，导致中文乱码。在这里请注意【requests.text】与【requests.content】最大的区别在于后者常用于图片和视频，且不会解码，直接以二进制形式返回。由于习惯，使用requests库时，常用【requests.text】进行文本响应，1.直接将requests.text换成requests.content。3.指定编码格式为UTF8。
Requests--get( )方法
热门推荐
weixin_45981384的博客
07-06 1万+
一、基本内容 requests.get( )方法 1.至少有一个参数。（接口的地址） 2.有返回值的方法。返回值就是本次请求的服务器响应结果
requests库get方法
跳房子的博客
03-02 512
例：r = requests.get(url) r：一个包含服务器资源的Response对象 requests.get(url)：构造一个想服务器请求资源的Request对象 Response：包含爬虫返回的全部内容 requests.get(url，params=None,**kwargs) url：所获取页面的url链接 params：url中的额外参数 **kwargs：12个...
Requests库的get()方法
weixin_50757288的博客
01-05 3007
获得一个网页最简单的方法 r＝requests.get(url) get方法和url 构造一个向服务器请求资源的Request对象 requests.get()返回的内容即r 返回一个包含服务器资源的Response对象 requests.get(url,params＝None,**kwargs) url:拟获取页面的url链接 params:url中的额外参数，字典或字节流格式，可选 Request和Response两个对象 Response对象是重中之重，包含爬虫返回的内容 Reponse对象的属性 1
requests.post 返回结果含'b
09-03
如果响应内容是以字节形式返回的（即二进制数据），那么结果中可能会包含字符'b'。这是因为在 Python 3 中，字节字符串前面会有一个 'b' 前缀来表示其为字节类型。 以下是一个示例代码，展示了如何使用 requests....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值