ANSI:
ANSI字符串我们最熟悉,英文占一个字节,汉字2个字节,以一个\0结尾,常用于txt文本文件Unicode:
- Unicode字符串每个字符(汉字、英文字母)都占2个字节,以2个连续的\0结尾;
- NT操作系统内核用的是这种字符串,常被定义为typedef unsigned short wchar_t;所以我们有时常会见到什么char无法转换为unsigned short之类的错误,其实就是unicode。
- little endian: 最低位地址存放低位字节,可称低位优先,内存从最低地址开始按顺序存放(低数位数字先写)。最低位字节放最前面。
- big endian: 最低位地址存放高位字节,可称高位优先,内存从最低地址开始按顺序存放(高数位数字先写)。最高位字节放最前面。
UTF8:
UTF8是Unicode一种压缩形式。- 英文A在unicode中表示为0x0041,老外觉得这种存储方式太浪费,
因为浪费了50%的空间,于是就把英文压缩成1个字节,成了utf8编码,但是汉字在utf8中占3个字节,
显然用做中文不如ANSI合算,这就是中国的网页用作ANSI编码而老外的网页常用utf8的原因。
- 英文A在unicode中表示为0x0041,老外觉得这种存储方式太浪费,
签名BOM:
BOM 是 Byte Order Mark 的缩写(字节顺序标记),是编码方案里用于标识编码的标准标记。- ANSI 文件没有 BOM
- UTF-8 文件的 BOM 为:EF BB BF,不过 UTF-8 文件可以有 BOM,也可以没有 BOM
- Unicode big endian 文件的 BOM 为:FE FF
- Unicode little endian 文件的 BOM 为:FF FE
以上是各编码常识。
错误代码:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
字符串在python内部的表示是unicode编码,因此,在做编码转换时,通常需要unicode作为中间编码,即先将其他编码的字符串解码(decode) 成unicode,再从unicode 编码(encode) 成另一种编码。
- decode: 将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转成unicode编码。
- encode: 将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串str2转成gb2312编码。
因此 :转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码
- 如:s=’中文’
如果是在utf8的文件中,该字符串就是utf8编码,如果是在gb2312的文件中,则其编码为gb2312。这种情况下,要进行编码转换,都需 要先用decode方法将其转换成unicode编码,再使用encode方法将其转换成其他编码。通常,在没有指定特定的编码方式时,都是使用的系统默 认编码创建的代码文件。 - 如:s=u’中文’
则该字符串的编码就被指定为unicode了,即python的内部编码,而与代码文件本身的编码无关。因此,对于这种情况做编码转换,只需要直接使用encode方法将其转换成指定编码即可。
以下,关于python 相关编码代码解释:
# -*- coding=utf8 -*-
当你在py文件的第一行中,写了这句话,并确实按照这个编码保存了文本的话,那么这句话有以下几个功能。
1. 使得词法分析器能正常运作,对于注释中的中文不报错了。
2. 对于u”中文”这样literal string能知道两个引号中的内容是utf8编码的,然后能正确转换成unicode
3. “中文”对于这样的literal string你会知道,这中间的内容是utf8编码,然后就可以正确转换成其它编码或unicode了。
sys.getfilesystemencoding()
返回的字符编码用于将Unicode文件名映射到底层操作系统使用的文件名。
对于Windows返回’mbcs’, 或对于Macintosh OSX返回’utf-8’。在UNIX系统上,编码取决于区域设置并将返回区域参数CODESET的值。在使用默认编码的系统上可能返回None。
-未完待续。。。