python 编码(encoding和apparent_encoding)区别

最新推荐文章于 2024-03-08 09:34:16 发布
最新推荐文章于 2024-03-08 09:34:16 发布
阅读量4k 收藏 26
点赞数 7
分类专栏： python学习 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaodeng2017/article/details/124883951
版权

requests编码

属性说明
r.encoding从http header中提取响应内容编码
r.apparent_encoding从内容中分析出的响应内容编码
  • encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因。
  • apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。

编码很重要：如果网页编码方式是ISO-8895-1,那么用r.text查看的是乱码。r.encoding只是分析网页的头部，猜测编码方式，而r.apparent_encoding则是实实在在根据网页内容分析编码方式。所以，在爬虫程序中，经常使用r.encoding = r.apparent_encoding,来直接获取网页的编码。

import requests

url = "http://www.baidu.com/"
r = requests.get(url)
print(r.text)

print(r.encoding)  # ISO-8859-1  # 只是分析网页的头部，猜测编码方式
print(r.apparent_encoding)  # 则是实实在在根据网页内容分析编码方式

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a>&nbsp;京ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

解决乱码方案

print('-------------第一种方案 utf-8------------------------------------')
r.encoding = 'utf-8'
print(r.text)


print('-------------第二种方案 获取byte  类型-------------------------------------')
print(r.content.decode('utf-8'))  # decode是解码

 -------------第一种方案 utf-8------------------------------------
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

不想写代码的
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫乱码问题之encoding和apparent_encoding的区别
qq_37701945的博客
02-25 1万+
encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因 apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式...
python url编码_Python获取网页编码(apparent_encoding)
weixin_39616565的博客
11-27 815
点击上方“Python日记本”未来有大量项目实操和自动化办公，欢迎关注！爬虫的时候，时常被编码问题困扰可以通过打开检查，查看网页的源代码打开head标签，能看到苹果网页是用utf-8编码格式 电影天堂的编码是gb2312 假如说，我爬取电影天堂网页的时候，没去关心它是什么编码的就习惯写成编码'utf-8'但因为这个网页不是用utf-8编码...
python+request响应结果中文乱码处理之encoding和apparent_encoding的区别和应用
weixin_45878889的博客
05-18 4524
一般在获取响应内容时，会出现响应结果乱码或者为ascii码，首先需要知道用的是那种编码方式，其次如何针对性去解码 encoding是从http的header中的charset字段中提取的编码方式，如果header中没有charst字段，则会默认为ISO-8859-1编码模式。则无法解析中文，所以会造成乱码 apparent_encoding是从网页的响应内容分析编码的方式，所有更加准确，当响应内容出现乱码时，可以把apparent_encoding的编码格式赋值给encoding 实例1： ``
获取网页编码方式apparent_encoding（自动识别网页编码）
m0_48600544的博客
08-16 1447
假如说，我爬取电影天堂网页的时候，没去关心它是什么编码的，就习惯写成编码'utf-8'但还有一个方法，就是可以通过res.apparent_encoding查看是用什么标准编码的。这时候，第一时间就是想到去网页，看看这个网页是用什么标准编码的。使用爬虫的时候，时常被编码问题困扰，可以通过打开检查，查看网页的源代码。但因为这个网页不是用utf-8编码的，所以爬取时就会出现乱码。我可以把请求的编码设置为原网页的编码(留意下方代码第四行)可以看到电影天堂网页，是GB2312编码的。电影天堂的编码是gb2312。.
python获取网页编码问题（encoding和apparent_encoding）
weixin_30826761的博客
10-15 1527
在requests获取网页的编码格式时，有两种方式，而结果也不同，通常用apparent_encoding更合适 注：推荐一个大佬写的关于获取网页编码格式以及requests中text()和content()的区别，以及转码的一些问题 http://xiaorui.cc/2016/02/19/代码分析python-requests库中文编码问题/ 转载于:https://...
使用python爬取淘宝商品信息
12-21
1.首先要安装两个库，requests和re库 2.定义一个获取页面的函数 ef getHTMLText(url): ... r.encoding = r.apparent_encoding return r.text except: return "" 浏览器查看cookie的方法，摁下F2，在网
python3爬取淘宝信息代码分析
01-20
# encoding:utf-8 import re # 使用正则 匹配想要的数据 import requests # 使用requests得到网页源码 这个函数是用来得到源码 ... # 设置它的编码 encoding是设置它的头部编码 apparent_encoding是从返回网页
python爬虫爬取网页表格数据
12-25
用python爬取网页表格数据，供大家参考，具体内容如下 ... r.encoding = r.apparent_encoding return r.text except: print('无法链接服务器！！！') #爬取资源 def get_contents(ulist,rurl
python爬虫爬取淘宝商品信息
12-25
本文实例为大家分享了python爬取淘宝商品的具体代码，供大家... r.encoding = r.apparent_encoding return r.text except: return "" def parasePage(ilt, html): try: plt = re.findall(r'\"view_price\"\:\"[\
python批量爬取网页图片的初步实现
12-21
最近本人正在学习python网络爬虫，尝试实现爬取网页图片，通过对网上一些相关博客的学习，目前初步实现，分享一下实现代码。 ... ...import requests import urllib.request ...encoding = html.apparent_encoding #获取该页
python 爬虫编码(encoding和apparent_encoding)区别
m0_74972727的博客
03-08 1707
如果两个属性返回不同的编码，通常建议优先考虑response.apparent_encoding，因为它可能是网页内容实际使用的编码。当然，在解析网页内容时，最好的做法是先检查和确认编码是否正确，必要时手动调整后再进行解析。
你的apparent_encoding 还准确么？
immort.L 的博客
08-30 1643
文章目录前言场景：问题描述：原因分析：解决方案： 前言 本人python也是业余的，所以下面的说法有不正确的地方，欢迎指正。 场景： 本人最近在使用python爬取某些公众号的某些文章的信息的时候，出现了一些编码上的问题。 问题描述： 在爬取的信息中，大多数的信息都是没有问题的，并且在之前爬取的公众号中，编码也是正常的，没有出现乱码的情况。但是这次爬取的公众号却出现了乱码的问题。其中乱码的数据如下： 原因分析： 经过代码的调试分析，发现其在获取返回信息的时候，编码推测是不正确的。 原来的代码： def
python3获取网页源码_python3中编码获取网页的实例方法
weixin_39769740的博客
02-09 349
学了python后，之前一些我们常用的方法，也可以换一种思路用python中的知识来解决。相信操作出来后，能收获一大批小粉丝们。就像我们没学习编程之前，看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决，大家可以自行体会一下两者的不同。1.encoding和apparent_encodingimport scrapyurl="https://www.x...
爬虫基础知识学习
⛄
01-11 580
python安装之后检查发现不存在可能是路径path问题 python不区分""和''但是必须成对出现 ◆什么是爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。由于互联网 数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流 的爬取策略。 ◆爬虫可以做什么 你可以爬取妹子的图片，爬取自己想看的视频等等，只要你能通过浏览器访问的数据 都可以通过爬虫获取。 ◆爬虫的本质是什么 模拟浏览器打开网页，获取网页中我们想要的那部分数据。 ◆爬虫基本流程
小葵学爬虫：从模仿开始-1
qq_43343994的博客
04-22 447
”爬虫“---小葵第一次听到这个词的时候啊，觉得是个很复杂的东西，事实也证明他确实是很复杂。特别是像自己这种小白，对Python感兴趣，有一点基础，但是对爬虫还是很陌生，不知道该如何着手。网上的文章教程很多，小葵决定照着一篇教程来开启自己的爬虫之旅。 那么就跟着小葵开始吧~ 选择的一篇教程是Python爬虫爬取豆瓣读书，这个大家应该不陌生，应该...
【学习笔记】python requests库
Canon__的博客
03-13 353
编辑器用的PyCharm 库的安装使用的Anaconda 1.get方法import requests response = request.get(url, params)其中response常用属性有:r.text    url对应的页面内容r.status_code    服务器状态码  (200表示链接成功)r.encoding   从headers 猜测编码方式r.apparent_en...
python爬虫基础
快乐的孙悟空的博客
08-01 3015
爬虫学习（一） 爬虫需要发送请求，目前了解到的是 import requests，发送请求 r.status_code是返回自己输入的网址是否接受返回 r.requests.get是获取输入网址的页面 以下以代码示例 import requests r=requests.get(&amp;quot;http://www.baidu.com&amp;quot;) r.encoding=r.apparent_enco...
Python爬虫MOOC入门笔记（1）
YuTsingLeen
09-23 296
爬文本： 1）先r.encoding，观察是不是‘gbk’形式，如果不是，需要替换（中文） r.encoding = r.apparent_encoding 或者 r.encoding = ‘gbk’ 2)记住常用的’utf-8’编码 3）一些反爬网站需要更换身份，才能进行相关操作 爬图片 1）利用文件f操作时需要缩进，否则报错 2）利用r.status_code，如果返回不是200说明访问错误 以下为具体事例，大部分代码来源于MOOC 一、JD某3080显卡文本爬取 >>> import
'str' object has no attribute 'apparent_encoding
最新发布
04-16
'str' object has no attribute 'apparent_encoding'是一个错误提示，它表示在字符串对象上调用了'apparent_encoding'属性，但该属性在字符串对象上是不存在的。 这个错误通常发生在使用错误的数据类型或者在错误的地。在Python中，'apparent_encoding'是用于获取字符串的编码方式的属性，但它只能在字节流（如requests库中的response对象）上使用，而不能在字符串对象上使用。 如果你想获取字符串的编码方式，可以使用encode()方法将字符串转换为字节流对象，然后再调用'apparent_encoding'属性。例如： ```python string = "Hello, World!" byte_string = string.encode() encoding = byte_string.apparent_encoding print(encoding) ``` 这样就可以正确地获取字符串的编码方式了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值