python 中unicode编码解码介绍，解决各种编码类错误

最新推荐文章于 2024-07-26 09:40:54 发布
最新推荐文章于 2024-07-26 09:40:54 发布
阅读量3.5k 收藏
点赞数
分类专栏： python 文章标签： 编码 decode encode UnicodeEncodeError
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_ld/article/details/42524577
版权
本文介绍了Python中遇到的编码问题，包括程序文件、系统环境、SecureCRT终端的编码设置。通过实例展示了如何处理UnicodeEncodeError，强调在Python源文件中声明编码，并进行编码与解码操作。此外，还讨论了Unicode字面量转换、JSON解析时的编码处理。
摘要由CSDN通过智能技术生成

一、编码的种种问题

背景： 使用linux开发环境，scureCRT客户端；想使用utf-8编码

        1. 程序文件编码

就是你的程序文本文件保存时选取的编码，通过 file -i test_encoding.py 来查看

 

如果不是UTF-8，假设是GBK，可以使用命令 iconv -f GBK -t utf-8 test_encode.py > tmp; mv tmp test_encode.py

2. 系统环境编码

对系统环境编码的设置，locale命令来查看


如果不是可以使用命令 export LANG="zh_CN.utf-8"; export LC_CTYPE="zh_CN.utf-8" 来设置本次会话的编码；如果想一劳永逸，那还是打开 ~/.bashrc 把那两条命令射进去，然后 soure ~/.bashrc 一下。

3. scureCRT终端编码

选项=> 会话选项 => 终端 => 仿真 ，按照此路径在scureCRT客户端中展开，在右侧终端(T)的列表中选择linux

选项=> 会话选项 => 终端 => 外观，按照此路径找到内容，在右侧字符编码(H)的列表中选择UTF-8

最低0.47元/天 解锁文章
baidu_ld
关注
专栏目录
Allure-pytest安装踩坑（关于启动时报错：UnicodeDecodeError）
m0_46634948的博客
08-12 805
项目场景： Web自动化脚本中，使用 allure-pytest 生成测试报告 问题描述： 下载allure-commandline并将其配置在环境变量中、在Pycharm中安装 allure-pytest 后，启动pytest，此时控制台报错：UnicodeDecodeError 原因分析： 首先，从该报错信息中发现错误发生在启动pytest时，此时还未进入自己写的代码，排除自己代码中存在的编码格式问题；此外，鉴于该错误在单纯使用pytest时（即不安装allure-pytest）未出现，所有考
Python: subprocess.Popen()不支持unicode问题解决
weixin_30721899的博客
10-18 971
起源： 所下载视频，有音视频分离者，需要合并起来，采用python之subprocess.Popen()调用ffmpeg实现。python版本为2.7.13，而音视频文件路径，有unicode字符者，合并失败。 此问题由来已久，终于不忍受，用尽工夫寻其机现，终于寻得蛛丝蚂迹，完成其修复。 其原因为：python 2.7.x中subprocess.Popen()函数，最终调用了kernel32...
Python字符串编解码，解决字符串乱码问题
最新发布
xyh2004的博客
07-26 928
字符集（Character Set）定义了一组特定的字符，而编码（Encoding）则是一种将字符集中的字符转换为特定数值或比特序列的规则，使得这些字符能在计算机系统中存储和传输。例如 ，ASCII字符集包含了英语字母、数字和一些控制字符 ，而Unicode字符集则涵盖了几乎世界上所有的书写系统。
Python 解决unicode码问题
lylclz的博客
12-31 3287
在文件开头加上import sys reload(sys) sys.setdefaultencoding('utf8')
pytest框架中使用pytest_collection_modifyitems函数解决unicode编码问题
zou75718的博客
01-16 771
在pytest框架运行时，会经常出现类型的乱码： 这是pycharm编码问题导致，在pytest框架中,可以在confest文件的钩子函数配置如下代码解决： def pytest_collection_modifyitems(items): for item in items: #修改编码 item.name = item.name.encode('utf-8').decode('unicode_escape') item._nodeid = ite
在pytest框架下运行一个测试用例，读取yaml里cases名字时显示Unicode编码
weixin_43423261的博客
03-24 4816
我们运行一个测试用例时，pycham下面左侧显示Unicode编码，但我的预期是需要展示中文名字的，那么怎么解决呢？ 其实只要在当前测试项目的根目录下增加一个pytest.ini文件，再次运行时，就会正常展示测试用例的名字。pytest.ini内容： [pytest] disable_test_id_escaping_and_forfeit_all_rights_to_community_support = True ...
Python3的unicode编码转换成中文的问题及解决方案
09-18
硬编码的unicode字符串通常可以直接在Python3中正确解析和显示，但网络爬虫获取或文件读取的unicode编码字符串可能需要通过特定的方法进行解码和再编码。在处理文件时，推荐使用`codecs`模块替代标准的`open`函数，...
Python3中编码与解码之Unicode与bytes的讲解
09-19
在Python3中，字符串默认使用Unicode编码。 - **Byte**：在计算机中，数据是以字节（Byte）的形式存储的。一个字节通常包含8位二进制数字。 - **编码（Encoding）**：将Unicode字符转换为特定编码的字节序列的过程。...
python实现unicode转中文及转换默认编码的方法
12-25
本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考，具体如下： 一、在爬虫抓取网页信息时常需要将类似”\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8″转换为中文，实际上这是...
Unicode和普通字符串之间转换
ling的专栏
06-05 1695
1 #将Unicode转换成普通的Python字符串:"编码(encode)" 2 unicodestring = u"Hello world"  3 utf8string = unicodestring.encode("utf-8")  4 asciistring = unicodestring.encode("ascii")  5 isostring = unicodestring.
如何解决pytest参数化时出现的Unicode编码问题？
Tester_muller的博客
06-26 710
Pytest是一个广泛使用的Python测试框架，通过参数化测试（Parameterized Testing）功能，可以轻松地为测试用例提供多组输入数据。然而，当我们尝试在参数化测试中使用中文作为测试用例的IDs时，有时会遇到Unicode编码问题，导致测试报告中显示的是乱码。本文将详细解释这个问题的原因，并提供解决方案，确保测试报告中正确显示中文IDs。获取更多技术资料，请点击！在Pytest的参数化测试中，使用中文作为测试用例的IDs时，可能会遇到Unicode编码问题，导致测试报告中显示的是乱码。
使用Python进行Unicode编码解析
CPLwin的博客
09-07 2259
使用Python进行Unicode编码解析 原数据类型：txt文本，文本编码是UTF8，但是内容是Unicode编码（应该是这么理解） import codecs def utf82unicode(string): """ 函数功能：将utf-8保存的Unicode解码 :param string:传入字符串，转为union """ byte_list = bytes(string, encoding='utf-8') byte_transform = co
Python对字符串进行url解码后并进行unicode解码
baidu_37995814的博客
04-22 940
#本文主要是对字符串进行url解码，并对解码后的内容再次进行unicode解码 url_dict={'%08':'backspace','%B2':'a','%49':'I','%76':'v','%D3':'ó','%09':'tab','%4A':'J','%77':'w','%D4':'Ô','%0A':'linefeed','%4B':'K','%78':'x','%...
python去掉 unicode 字符串前面的 u
热门推荐
3569
10-30 1万+
有时我们会碰到类似下面这样的 unicode 字符串:u'\xe4\xbd\xa0\xe5\xa5\xbd'这明显不是一个正确的 unicode 字符串，可能是在哪个地方转码转错了。我们要想得到正确的 unicode 字符串首先就必须先将这个字符串转成非 unicode 字符串， 然后再进行解码。按照普通的办法进行 encode 肯定是不行的，因为这不是一个正确的 unicode 字符串：In [1
python解码unicode_python中的双解码unicode
weixin_39625468的博客
12-05 142
I am working against an application that seems keen on returning, what I believe to be, double UTF-8 encoded strings.I send the string u'XüYß' encoded using UTF-8, thus becoming X\u00fcY\u00df (equal ...
django models.py中的__unicode__ __str__的作用
zhouxuan623的专栏
12-05 2547
在django的models.py 构造表结构后，后面会经常跟一串__unicode__(python2)  __str__(python3)函数。对于这个函数的作用，在网上参考了大牛们的注释，这个解释的比较清楚了https://segmentfault.com/q/1010000006121303 models.py from __future__ import unicode_liter...
Python中使用Unicode对中文进行编码和解码
北辰
06-02 9076
编码： 解码：
python编码转换，列表编码转换，编码检测，pycharm编写python乱码，文件中以unicode编码方式转成中文
Yan456jie的专栏
07-31 4392
字符串前有u的代表unicode编码，也是python内部编码 unicode编码可得到其他编码： #-*- encoding:utf-8 -*- #将unicode编码为utf8 print u'的'.encode("utf8")=='的' #acess 其他编码解码可得到unicode #-*- encoding:utf-8 -*- #将utf8解码为unicode print u
Python2.x中Unicode编码详解：挑战与解决方案
例如，`x="abc"+chr(150)`这行代码在Python中会导致错误，因为它试图用ASCII编码解码非ASCII字符。 相比之下，UTF-8是一种更通用的字符编码，它支持Unicode字符集的广泛范围。UTF-8编码的字符串，如[97][98][99]...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值