mysql中gbk编码汉字和英文_MySQL 英文字母和中文汉字在不同字符集编码下的字节数...

MySQL 英文字母和中文汉字在不同字符集编码下的字节数

英文字母:

. 字节数 : 1; 编码: GB2312

字节数 : 1; 编码: GBK

字节数 : 1; 编码: GB18030

字节数 : 1; 编码: ISO-8859-1

字节数 : 1; 编码: UTF-8

字节数 : 4; 编码: UTF-16

字节数 : 2; 编码: UTF-16BE

字节数 : 2; 编码: UTF-16LE

中文汉字:

字节数 : 2; 编码: GB2312

字节数 : 2; 编码: GBK

字节数 : 2; 编码: GB18030

字节数 : 1; 编码: ISO-8859-1

字节数 : 3; 编码: UTF-8

字节数 : 4; 编码: UTF-16

字节数 : 2; 编码: UTF-16BE

字节数 : 2; 编码: UTF-16LE

美国人首先对其英文字符进行了编码, 也就是最早的 ascii 码, 用一个字节的低 7 位来表示英文的 128 个字符, 高 1 位统一为 0;

后来欧洲人发现你这 128 位哪够用, 比如法国人字母上面的还有注音符, 这个怎么区分, 于是把高 1 位编进来吧, 这样欧洲普遍使用一个全字节进行编码, 最多可表示 256 位.

但是即使位数少, 不同国家地区用不同的字符编码, 虽然 0-127 表示的符号是一样的, 但是 128-255 这一段的解释完全乱套了, 即使 2 进制完全一样, 表示的字符完全不一样, 比如 135 在法语, 希伯来语, 俄语编码中完全是不同的符号;

更麻烦的是, 这编码传到中国后, 中国人发现我们有 10 万多个汉字, 你们欧美这 256 字塞牙缝都不够. 于是就发明了 GB2312 这些汉字编码, 典型的用 2 个字节来表示绝大部分的常用汉字, 最多可以表示 65536 个汉字字符, 这样就不难理解有些汉字你在新华字典里查得到, 但是电脑上如果不处理一下你是显示不出来的了吧.

这下各用各的字符集编码, 这世界咋统一? 俄国人发封 email 给中国人, 两边字符集编码不同, 尼玛显示都是乱码啊. 为了统一, 于是就发明了 unicode, 将世界上所有的符号都纳入其中, 每一个符号都给予一个独一无二的编码, 现在 unicode 可以容纳 100 多万个符号, 每个符号的编码都不一样, 这下可统一了, 所有语言都可以互通, 一个网页页面里可以同时显示各国文字.

然而, unicode 虽然统一了全世界字符的二进制编码, 但没有规定如何存储啊. x86 和 amd 体系结构的电脑小端序和大端序都分不清, 别提计算机如何识别到底是 unicode 还是 acsii 了. 如果 Unicode 统一规定, 每个符号用三个或四个字节表示, 那么每个英文字母前都必然有二到三个字节是 0, 文本文件的大小会因此大出二三倍, 这对于存储来说是极大的浪费. 这样导致一个后果: 出现了 Unicode 的多种存储方式.

互联网的兴起, 网页上要显示各种字符, 必须统一. utf-8 就是 Unicode 最重要的实现方式之一. 另外还有 utf-16,utf-32 等. UTF-8 不是固定字长编码的, 而是一种变长的编码方式. 它可以使用 1~4 个字节表示一个符号, 根据不同的符号而变化字节长度. 这是种比较巧妙的设计, 如果一个字节的第一位是 0, 则这个字节单独就是一个字符; 如果第一位是 1, 则连续有多少个 1, 就表示当前字符占用多少个字节.

注意 unicode 的字符编码和 utf-8 的存储编码表示是不同的, 例如 "严" 字的 Unicode 码是 4E25,UTF-8 编码是 E4B8A5, 这个 7 里面解释了的, UTF-8 编码不仅考虑了编码, 还考虑了存储, E4B8A5 是在存储识别编码的基础上塞进了 4E25.

UTF-8 使用一至四个字节为每个字符编码. 128 个 ASCII 字符 (Unicode 范围由 U+0000 至 U+007F) 只需一个字节, 带有变音符号的拉丁文, 希腊文, 西里尔字母, 亚美尼亚语, 希伯来文, 阿拉伯文, 叙利亚文及马尔代夫语 (Unicode 范围由 U+0080 至 U+07FF) 需要二个字节, 其他基本多文种平面 (BMP) 中的字符 (CJK 属于此类 - Qieqie 注) 使用三个字节, 其他 Unicode 辅助平面的字符使用四字节编码.

来源: http://www.jianshu.com/p/61c226a9ff16