字符编码

转载 2011年01月23日 20:33:00

如果非要评个计算机初学者最头晕概念的话,估计字符编码可以排到前十,比马尔可夫链之类的理论性概念都要晕。为什么呢?因为这东西课本上不会讲,也没有什么理论,只能靠自己体会出来。我比较笨一点,晕了好几年,到了今年终于明白了怎么一回事,现在记在这边,免得再忘了。
首先定义只在本文中出现的两个基础概念:
1.字节组。每8个位(bit)是为一个字节,多个字节成为一个字节组。
2.文字串。现实语言的最小单位称为文字。一个英文字母就是一个文字,一个汉字也是一个文字,一个空格也是文字。
这两个概念是我生造的,主要是为了避免和现有的一大堆术语混起来。
文 字串不能理解成字符串。倒是像圆这样的数学概念,比较抽象一些,只存在于头脑里。可以把文字串写在纸上,也可以记在计算机里,还可以读出来。字节组就是文 字串在计算机中的表现形式。想一想,在纸上圆可以用一个公式来表达,也可以用一个图形来表达,还可以用文字描述它。文字串也一样,可以表述为多种字节组。 众所周知,计算机只能处理数字,所以为了描述文字,最简单的方法就是把文字列出来,每个文字用一个数字表示。不同的国家有不同的方法来做这件事,比如美国 人和英国人只有字母,还有一些符号,总共排了256个文字,叫做ascii码。中国的文字就比较多了 ,那个康熙大字典据说有40万,所以中国人排了gb2312标准,big5,gbk、还有gb18030,里面包含的文字总数各不相同。后面几个名词很熟 悉吧。
3.把文字串表述成字节组的方法就叫做字符编码。
显然,美国人的ascii码是不能表示中国文字的,因为它只能表示256个文字。 诚然,中国的标准可以表示美国人的文字,但是却不能表示阿拉伯字符和其它一些像型文字。后来大家意识到这个问题是文化交流的障碍,于是就在一起制定了一个 unicode标准。简而言之,unicode标准就是穷尽这个世界上所有的文字,给每个文字编一个数字。 和gb2312,gbk等一样,其实unicode也只是一种编码标准,只不过它能够表示所有的文字。从此,如果一个计算机系统想要支持多种语言文字,只 要简单地支持unicode就可以了。在这种系统里,我们可以认为文字串就是unicocde字节组,unicode字节组就是文字串。
虽然解决 了编码不能相互表示的大问题,但是还有一个麻烦没有解决。就像前文所说的,所谓编码就是给文字编一个数字。在每个编码里,数字与文字是一一对应的,但是在 不同的编码标准里呢?不同的编码标准可能包含相同的文字,比如big5里的公和gbk里的公就是同一个文字,但是被编了不同的数字。这时候,同一个文字对 应了不同的数字。再者,同一个数字是否代表着同一个文字呢?显然不是的,不然,两种编码标准就只有包含文字多少的区别了,或者每个文字在两个编码对应了相 同的数字,那这还是两个编码标准吗?
我经常感叹,要是这个世界上只有unicode这种编码标准那该多好啊,我们就不用操心这些问题了。可惜事实 不是这样子的,以前的标准仍然盛行,特别是windows仍然使用旧的标准。在中文简体的windows上,用记事本写的文本文件仍然是gbk编码的。想 要在一个使用unicode的浏览器上显示出文字来仍然不行,不同的编码环境从文件里读取的数字不会变,但是却表示了不同的文字。怎么办呢?很容易想到的 办法是读取文件内容的时候把gbk编码转成unicode编码。仔细想一想,这应该是没问题的,因为gbk包含的文字只是unicode包含的文字的一部 分而已,从gbk转成unicode应该是没问题的。反之,从unicode转成gbk却不一定可以。
还有一种情况是两种编码标准差不多,只是每 个文字在两种编码标准里对应的数字不一样。比如gbk和cjk,两种编码标准都包含了大量的中文简体文字和繁体文字,但是两种编码是不一样的。一个gbk 的文本文件想拿到只支持cjk的环境里阅读要怎么办呢?也要在读取文件的时候从gbk编码转成cjk编码。目前一般采用先把gbk转成unicode,然 后再从unicode转成cjk的间接做法。这可不可行呢?前面我们已经知道了,gbk转成unicode是可以的,但是unicode的文字转成cjk 却不一定可以。不过这并不是什么大问题,因为如果真的不能从unicode转到cjk的话,说明那个文字cjk根本不能表示,直接从gbk转成cjk肯定 也不可以。与直接从gbk转成cjk相比,间接的转码多了一个步骤,不过形式上比较统一,只要每种编码都编写一段与unicode相互转换的程序,就可以 进行任意编码的相互转换。这个世界存在太多的编码标准,想要每两种可以转换的编码都可以相互转换需要的转换程序太多,试想想一个多边形的每两点相互连接。
再 进一步地考虑,虽然编码是一样的,但是数字转换成字节组的方式可不可以有多种方式呢?答案是,可以的。最典型的是unicode编码。unicode编了 很多个文字,个数总是在增加,目前(2008年7月)是100713个文字。把文字串转换成unicode字节组最简单的办法就是每个文字用三个字节来表 示,因为100713这个数字最少需要三个字节才能表示。不过实际上通常采用的是utf-8方案。其中,最常使用的128个英文字母用一个字节来表示,而 中文使用三个字节(注,我经常以为是两个字节,不过那是其它字符)来表示。还可以使用utf-16方案,其中英文和中文都使用两个字节来表示,而其它字符 采用四个字节。还有一种utf-32方案,所有的文字都用四个字节来表示。大多数软件在内存中使用utf-16来表示文字,而在硬盘文件或者网络数据流中 使用utf-8。前者字节数比较固定,比较容易处理,而后者比较节约空间。
讲到这里,相信大家对字符编码已经了解得差不多了吧。我们再来理论联系实际。
首 先看看python对于字符编码的处理。应该说python是*nix派系语言里对字符编码处理得比较好的了。它内建了对unicode的支持。 python2.x版本里有两种类型的字符串,一种称为str类型,实际上可以理解为字节组。还有一种是unicode类型,实际上是utf-16的字节 组,我们可以理解为文字串。
“中文” —> 这是str类型
u”中文” —-> 这是unicode类型
从文件、终 端、网络数据流或者其它外部输入中读取的都是str类型字节组,而且向文件、终端、网络也只能输出str类型的字节组。unicode类型的文字串在输出 到文件的过程中会自动转换成ascii编码,输出到终端的过程中会自动转换成系统默认的编码(简体中文windows为gbk)。str类型与 unicode类型可以使用decode和encode两个方法互相转换,比如在简体中文windows的命令行界面里:
“中文”.decode(’gbk’) == u”中文”
u”中文”.encode(’gbk’) == “中文”
想要从文件里读取gbk编码的数据然后使用utf-8编码发送到网络上可以这样:
buf=file(filename,”r”).read()
mysocket.send(buf.decode(’gbk’).encode(’utf-8′))
很显然,unicode文字串没有decode()方法,而str字节组没有encode()方法。
值得注意的是,python经常会在输出的时候自动把unicode文字串转换成str字节组,而在字符串连接的时候把str字节组转换成unicode文字串。其中有些规律我还不大懂,哪位大虾指导一下。
在以后版本的python里,表示方法略有不同:
“中文” —> 这是一个unicode字符串
b”中文” —> 这是一个str(python3k叫做bytes)类型的字节组
接 下来再以java为例。与python相比,java对于unicode的支持更胜一筹,因为存储在java程序文件或者数据文件里的字符串都是以 utf-16保存的,并且输入输出时,java能做更多的自动转换(比如列出一个文件夹里所有的文件)。不过基本原理跟python是一样的,它也有两种 类型,一种是byte[]类型,这是字节组。还有是String类型,这是unicode文字串。它们也是可以相互转换的:
String(”中文”).getBytes(”utf-8″) —-> 将unicode文字串转成utf-8字节组
new String(new byte[]{228, 184, 173, 230, 150, 135},”utf-8″) —–>将utf-8字节组转成unicode文字串
java还用输入输出专门提供了自动转换编码的类。InputStream和OutputStream专门用于输入输出byte[]字节组,而Reader和Writer专门用于输入输出unicode文字串。
最 后,再说明一下Qt对于字符编码的处理。 c和c++对于unicode的支持是比较差,幸好qt为此下了番苦功,整体来说还过得去。qt对于字符编码的处理基本上与java类型。 QByteArray(或者char[])类型是字节组,而QString是unicode文字串。它们之间的关系是这样的:
char[] data=char[6]{228, 184, 173, 230, 150, 135};
QTextCodec::codecForName(”utf-8″).toUnicode(data,6) —-> 将utf-8字节组转成unicode文字串
QTextCodec::codecForname(”utf-8″).fromUnicode(QString(”中文”)) —-> 将unicode文字串转成utf-8字节组
qt会自动地将c的char[]转换成unicode文字串。比如上文的QString(”中文”)。还有tr()函数,以及C++的隐式类型转换。自动转换使用的默认编码通常在QApplication构造后进行初始化,比如:
#ifdef Q_CC_MSVC
QTextCodec::setCodecForCStrings(QTextCodec::codecForLocale()); //utf-8? QTextCodec::setCodecForTr(QTextCodec::codecForLocale()); //utf-8?
#elif Q_CC_GNU
QTextCodec::setCodecForCStrings(QTextCodec::codecForName(”gbk”)); //与文件的编码同
QTextCodec::setCodecForTr(QTextCodec::codecForName(”gbk”)); //与文件的编码同
#endif
看起来很麻烦的样子,像java程序里”中文”就可以直接表示unicode文字串了,而qt还需要tr()转换一下。不过,幸好从utf-8字节组转换成unicode文字串还是比较简单的:
QString::fromUtf8(data); —-> 将utf-8字节组转成unicode文字串
tr(”中文”).toUtf8(); —-> 将unicode文字串转成utf-8字节组
如有不对,还请大牛们指正

相关文章推荐

字符编码查看器 1.4.2

  • 2017年11月10日 15:24
  • 37KB
  • 下载

字符编码转换工具

  • 2017年07月12日 09:17
  • 349KB
  • 下载

字符编码一:Unicode 与 UTF-8之间的关系

一、Unicode编码Unicode 是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案,又称统一码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了...
  • claram
  • claram
  • 2016年11月06日 14:13
  • 4774

中英文字符编码查询_V1.1.rar

  • 2015年06月13日 18:47
  • 15KB
  • 下载

字符编码文档

  • 2015年05月26日 15:06
  • 379KB
  • 下载

字符编码 ASCII,Unicode和UTF-8的关系

字符编码 ASCII,Unicode和UTF-8的关系

字符编码笔记:ASCII-Unicode和UTF-8

  • 2017年09月22日 13:59
  • 58KB
  • 下载

字符编码格式转换软件

  • 2013年12月09日 13:36
  • 149KB
  • 下载

mysql字符编码的设置以及mysql中文乱码的解决方法

最近在开发过程中,使用到mysql的数据库,而在将中文数据插入到数据库的时候出现了数据乱码的问题,在网上找了很多方法,问了很多人,试了很久才发现网上有的方法是不行的,因此在此记录下,以便他人查找。 ...

统计数字及字符编码

  • 2013年04月07日 17:22
  • 3KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:字符编码
举报原因:
原因补充:

(最多只允许输入30个字)