python3读中文文件乱码_弄明白python3的编码问题。

首先明确的是编程过程中存在三种编码,一是操作系统编码,关系到open方法默认的编码格式,在windows为gbk;二是系统编码,指的是python编辑器的编码格式,python3为utf-8;三是python文件的头文件编码,影响python编辑器中自定义的字符串的编码格式。

如果要在python编译器中正常输出,必须转为utf-8的格式,因为python3系统默认编码为utf-8。实质上python文件的头文件编码只会影响在python编辑器中自定义的字符串。下图中的s由于python头文件的缘故是由shift-jis解码成的字符串,必须通过shift-jis编码字节串,然后再通过utf-8解码为字符串,才能在python3正常显示中文。即字符串最终的形式应该和python3的系统默认编码相同,即必须为utf-8。如果源文件编码为utf-8,则不需要转化,并且在不显示指定的情况下,python文件的头文件编码格式和python3的系统编码格式一致,都是utf-8.

下图中的a是经过头文件编码格式shift-jis解码后的正确的字节串,该字节串可以通过任何合适的编码方式进行解码为字符串,解码方式不同,自然最后显示的字符串不同。但是最后如果写入文件时,write方法的参数必须是字符串,且open方法的encoding参数必须是字节串a解码为相应字符串的编码方法。如下图中c是字节串a以gbk的解码方式得到的字符串,open方法的encoding参数必须是gbk,即最终写入的是字节串a,..b是字节串a以utf-8的解码方式得到的字符串,open方法的encoding参数必须是utf-8.,即最终写入的也是字节串a。只有这样写入文件后打开文件才不会乱码。实质上通过open方法的encoding参数,最终写入文件的是能够正常显示本身字符串的通过正确编码方式得到的字节串。f.write方法的参数是字符串,但是实际写入的是字符串通过encoding方法编码的字节串,只有该字节串是正确的,吸入到文件后打开文件才能显示正确的。

6a850c8ddf62b59cae07f20506296598.png

注意操作系统默认的编码即open方法默认的encoding参数,在windows系统下默认编码为gbk。参考下图,头文件编码为gbk,即s是以gbk解码的字符串,通过open方法写入文件(Windows下默认参数也是gbk),所以写入文件后能够正常显示。

be23aec009e3b0ac87cf7063ae8cb667.png

能够正常打开不乱码的文件,使用python打开并正常输出文件,open方法的encoding参数必须是utf-8,因为python的系统编码是utf-8,即要和python系统编码保持一致。

67f263d692dee1500e462226906f0b22.png

如下图python头文件编码为gbk即s是gbk编码格式下的解码的字符串,而写入文件时用的utf-8,所以这是的test文件双击打开会显示乱码

f60646209069273dfd0f6c5214eb0c75.png

如果文件本身打开是乱码,在通过python打开文件并在python编辑器中正常显示:open方法的encoding参数必须是utf-8,和python的系统编码保持一致。此时显示的是打开文件时显示的字符串,即通过双击打开文件方式看到的格式。即第五行代码的操作和输出。即以python3的系统编码utf-8打开文件,此时显示的就是双击打开文件显示的字符串的格式。但是如果文件本身显示乱码,在python编辑器中也会显示乱码。

接上图,由于本身test文件在写入的时候的字符串格式为gbk,如果要正常显示,首先要通过gbk方式解码为字节串,然后再以utf-8编码为字符串,即最后的字符串还是要和python系统编码保持一致才能显示。

237591603fb192618c8899f599640333.png
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值