Python中用encoding声明的文件编码和文件的实际编码之间的关系

【背景】

python中的字符串编码，搞晕很多人，包括之前的我。

随着对于python的编码的深入了解，后来才算搞懂，关于python的，用encoding去声明的文件编码，和，python文件实际的编码，之间的关系。

 

Python中用encoding声明的文件编码和文件的实际编码之间的关系

1.解释声明的编码和真实的编码之前，需要了解，正常的情况下，python文件的话，如何声明文件的编码：

【整理】关于Python脚本开头两行的：#!/usr/bin/python和# -*- coding: utf-8 -*-的作用 – 指定文件编码类型

 

背景知识

1.不了解各种编码，尤其是常见的UTF-8，GBK等编码的，去看：

字符编码详解

2.不会对文件进行编码转换的，可以去用Notepad++的编码转换功能：

用Notepad++实现不同字符编码之间的转换

3.对于windows的cmd的默认是GBK编码不熟悉的，去看：

Windows的命令行工具: cmd

 

然后再来说，关于声明的编码，和文件本身的编码事情。

声明的编码和实际的编码匹配的时候：声明为UTF-8编码，文件实际编码也的确是UTF-8

（1）示例代码：

#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
-------------------------------------------------------------------------------
[Function]
【整理】Python中用encoding声明的文件编码和文件的实际编码之间的关系
http://www.crifan.com/python_string_encoding_declare_encoding_vs_file_real_encoding

[Date]
2013-07-19 

[Author]
Crifan Li

[Contact]
http://www.crifan.com/about/me/
-------------------------------------------------------------------------------
"""
 
#---------------------------------import---------------------------------------

#------------------------------------------------------------------------------
def declare_encoding_vs_real_encoding_declareUtf8RealUtf8():
    """
        Demo Python declare encoding vs. real file encoding
    """
    helpInfo = """在当前Python文件的第一行，用
    # -*- coding: utf-8 -*-
    去声明当前文件编码是utf-8
    所以，当前文件，也必须的确是UTF编码的。
    如此：
    1. Python解析器解析当前文件，才会去按照UTF-8解析
    2. 后面的，当前文件内的，直接写出的中文字符，自然也的确就是UTF-8
    3. 然后在用decode("utf-8")去解码，才能正确，详见后面代码的演示
    """;

    realUtf8Char = "我是UTF-8的中文字符串";
    decodedUnicodeStr = realUtf8Char.decode("utf-8");
    print "decodedUnicodeStr=",decodedUnicodeStr; #在windows的cmd中，此处Unicode字符串，才能正常输出：decodedUnicodeStr= 我是UTF-8的中文字符串
    

###############################################################################
if __name__=="__main__":
    declare_encoding_vs_real_encoding_declareUtf8RealUtf8();

（2）在Notepad++中，可以看出，当前文件我的确已经设置成了UTF-8：

 

（3）代码下载（右键另存为）：

declare_encoding_vs_real_encoding_declareUtf8RealUtf8.py

 

（4）运行效果如下：

 

声明的编码和实际的编码不匹配的时候：声明为UTF-8，文件实际编码是（ANSI的）GBK

 

（1）示例代码：

#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
-------------------------------------------------------------------------------
[Function]
【整理】Python中用encoding声明的文件编码和文件的实际编码之间的关系
http://www.crifan.com/python_string_encoding_declare_encoding_vs_file_real_encoding

[Date]
2013-07-19 

[Author]
Crifan Li

[Contact]
http://www.crifan.com/about/me/
-------------------------------------------------------------------------------
"""
 
#---------------------------------import---------------------------------------

#------------------------------------------------------------------------------
def declare_encoding_vs_real_encoding_declareUtf8RealGBK():
    """
        Demo Python declare encoding vs. real file encoding
    """
    helpInfo = """在当前Python文件的第一行，用
    # -*- coding: utf-8 -*-
    去声明当前文件编码是utf-8
    而此处，故意，把当前文件的本身编码，转换为了GBK，即：声明的编码是UTF-8, 真正文件的编码是GBK -> 声明的编码，和真正文件编码，之间不一致 ->
    实际经过测试，由于本身文件编码是GBK的，虽然声明了UTF-8编码，但是Python解析器，实际上也会自动识别，并按照真正的GBK编码去解析，
    所以结果就是，当前文件，Python是按照，文件真实编码GBK去解码的。所以：
    后面的，当前Python文件出现的字符串，都是GBK的 ->
    对于GBK编码的字符串，去用GBK去decode，当时是正常的，可以得到Unicode的字符串的；
    对于GBK编码的字符串，用UTF-8去解码，当然会出错
    """;
    realEncodingGbkChar = "此处我实际上是GBK的中文字符串";
    useGbkDecodedUnicodeChar = realEncodingGbkChar.decode("gbk"); #此处可以正常获得Unicode字符串
    print "useGbkDecodedUnicodeChar=",useGbkDecodedUnicodeChar; #在Windows的cmd中输出Unicode字符串，可以正常输出：useGbkDecodedUnicodeChar= 此处我实际上是GBK的中文字符串
    useUtf8DecodedUnicodeChar = realEncodingGbkChar.decode("utf-8"); #此处就会报错：UnicodeDecodeError: 'utf8' codec can't decode byte 0xb4 in position 0: invalid start byte
    

###############################################################################
if __name__=="__main__":
    declare_encoding_vs_real_encoding_declareUtf8RealGBK();

（2）在Notepad++中，可以看出，当前文件我是故意，已经转换为GBK了：

（3）代码下载（右键另存为）：

declare_encoding_vs_real_encoding_declareUtf8RealUtf8.py

 

（4）运行效果如下：

 

总结

可以看出：

虽然文件编码声明，即使和实际文件本身编码错误，Python解析器，也是识别真正的文件的编码的。

但是更明显，还是要尽量保持，python文件声明和实际上的文件本身的编码，一致，这样才不容易出问题。

 

原文链接：http://www.crifan.com/python_string_encoding_declare_encoding_vs_file_real_encoding/

 

想学人工智能（Python、数据分析、机器学习、深度学习、推荐系统、强化学习），来公众号AI派看看吧！！