从字节理解Unicode（UTF8/UTF16)

最新推荐文章于 2024-02-19 14:14:40 发布
最新推荐文章于 2024-02-19 14:14:40 发布
阅读量118 收藏
点赞数
原文链接：http://www.cnblogs.com/zizifn/p/4716712.html
版权

如果你不知道或者不了解什么是Unicode/UTF8/UTF16，请详细阅读这篇文章（这也是这篇博文的先决条件）：

学点编码知识又不会死：Unicode的流言终结者和编码大揭秘

   

但是如果你看完以上文章后，疑惑为什么一个Unicode:0x4F60（对应汉字是"你"）会在UTF8下占用3个字节的存储空间。

按照排列组合2个字节完全可以存储多数unicode字符，明显字符"你"（0x4F60）是在2个字节最大可能范围内（0xFFFF）。

但是为什么UTF8却使用3个字节存储字符"你"呢？这样不是明显浪费存储空间吗？

   

答案不仅是UTF8没有浪费存储空间，而且UTF8还是一个精美的设计，至少在我看来。

   

Unicode/UTF8/UTF16

虽然你或许可能知道什么UTF8，但是我还是要简单介绍下什么是UTF8？什么是UTF16？什么是unicode？

   

看完我开头推荐的那篇详细的博文（学点编码知识又不会死：Unicode的流言终结者和编码大揭秘）。你应该知道unicode是一种索引表，它规定了任何字符的code。比如：字符"你"就是0x4F60,在整个宇宙（你确定是整个宇宙？）的任何地方，只要你用的是unicode，那么"你"的unicode就是"0x4F60"。

   

所以Unicode并不关心世界上有多少字符，如果你想把一个字符放入Unicode中，那么请告诉我你要放的是什么字符？那么Unicode会给你个索引号码？比如：汉字"你"就是"0x4F60"。也就是假如有一天人类统一了"三体星人"（可惜的是三体星已经被摧毁了。。），我们也可以把三体星文加入到Unicode中。

   

当然Unicode同样不关心你怎么实现，你怎么把字符编码成字节？所以unicode并不知道字符"你"占用几个字节。这时候就是UTF(Unicode Transformation Formats)来规定unicode字符该如何存储，占用几个字节？

   

总而言之：

Unicode定义世界每个字符的索引值。

UTF8/UTF16实现Unicode的标准，把字符存储到存储介质中。

   

从字节角度看UTF8

我们知道存储字节多少只和UTF有关，那么我们先看UTF8一张表.详情请查看wikipedia的介绍 。当然你看百度百科也是可以的。

   

Bits of

code point

First

code point

Last

code point

Bytes in

sequence

Byte 1

Byte 2

Byte 3

Byte 4

Byte 5

Byte 6

  7

U+0000

U+007F

1

0xxxxxxx

  

  

  

  

  

11

U+0080

U+07FF

2

110xxxxx

10xxxxxx

  

  

  

  

16

U+0800

U+FFFF

3

1110xxxx

10xxxxxx

10xxxxxx

  

  

  

21

U+10000

U+1FFFFF

4

11110xxx

10xxxxxx

10xxxxxx

10xxxxxx

  

  

26

U+200000

U+3FFFFFF

5

111110xx

10xxxxxx

10xxxxxx

10xxxxxx

10xxxxxx

  

31

U+4000000

U+7FFFFFFF

6

1111110x

10xxxxxx

10xxxxxx

10xxxxxx

10xxxxxx

10xxxxxx

根据这张表，我们可以知道0x4F60（字符"你"）是在范围（0x0800-0xFFFF），所以在UF8下需要3个字节来存储。

   

下面让例子来阐述为什么需要3个字节？首先，先看下这3个字节存放的是什么？

在windows新建一个txt，写入字符"UTF8你"（加入UTF8是为了有个基准线查看"你"的真实字节值），然后另存为UTF8编码。用notepad++（需要装HEX-editor插件）或者Binary Viewer，查看"你"在UTF8下的16进制值。

   

   

我们知道字符"UTF8"16进制就是他们的ASNI码"0x55,0x54,0x46,0x38".那么字符"你"在UTF8下3个字节的值是"0xE4/0xBD/0xA0".

   

"0xE4"-->"11100100".

"0xBD"-->"10111101".

"0xA0"-->"10100000".

查看上面UTF8的表，表给出给出每个字节 的前几个固定的二进制数。

比如3个字节的Unicode会用到这个格式："1110xxxx 10xxxxxx 10xxxxxx"来存储字符，对应到字符"你"就是"11100100 /10111101/ 10100000"。

拿出红色标注的部分"0100 111101 100000"，转换成16进制就是"0x4F60"也就对应的是Unicode字符"你"。

   

现在我们可以知道UTF8固定每个字节的前面几位二进制值，然后用其他的位来表示字符。但是为什么UTF8的设计者们要这样设计呢？

   

我想这是UTF8为了兼容ASNI所要付出的代价，请查看上表，UTF8下是完全兼容asni，也就是asni标准的下的文档，在UTF8下显示完全不是问题（因为ASNI存储字节值和UTF8是一样的）。字符都是一个一个字节存储的，UTF8肯定是一个一个字节的读取，那么UTF8怎么在完全兼容ASNI前提下，是怎么知道某个字符是需要额外字节信息的？UTF8只有固定前几位二进制来决定这个字符需要以后的几个字节，又因为为了兼容ASNI，所以额外字节也需要固定前2位"10xxxxxx"，来决定这个字节值不是代表ASNI字符。ASNI的格式是“0xxxxxxx”。

   

另外，你也完全可以自己实现一个标准来解释Unicode，比如就叫做UTF9吧，只要你能完全解释Unicode。

实际上是有UTF7,UTF8,UTF16,UTF32的。

   

从字节角度看UTF16

同样的，我们把txt:"UTF8你"另存为UTF16编码（windows下unicode编码就是指UTF16）。

   

UTF16下的每个字符需要是2个或者4个字节。

字符"UTF8"在UTF16下就是"0x55/0x0054/0x0045/0x0038",那为什么图片中是0x5500呢？这涉及到高字节序和低字节序。开头的那篇文章也有介绍。字节序仅仅就是先把字符的高位或者低位先放入存储的而已。

  1. 高字节序，高位字节被存在前面
  2. 低字节序，低位字节被存在前面

   

比如字符"你""0x4F60"，第一个字节是"4F"是"高位"，第二个字节是"60"是"低位".

稍微解释下为什么左边是高位，玩笑话就是想想你的银行账户当然是左面数值多才有意义啊。

那么按照"低字节序" "0x4F60"就被存储为"60 4F"拉。在intel CPU下默认是"低字节序"。

 

在UTF16下，存储的字节值和unicode是一一对应的。但是UTF16显示英文（asni）就浪费一个字节。所以英文国家用UTF8的编码比较多。反之其他国家用UTF16的较多。

    

字节顺序标记(BOM)

不知道你有没有注意到，在UTF16下的这张图，地址第0，第1位是"FF FE"

 

 

这就是BOM，通过FF FE或者FE FF来告诉解释器是那种字节序。

那么你也许会问，为什么UTF8没有字节序呢？那是因为UTF8是以字节为单位，一个一个字节读取。UTF16是以字为单位，一个一个字符（2个字节或者4个字节）读取，这样就会涉及先读取第一个或者第二个字节的情况。

   

希望这篇文章从存储字节角度看UTF8和UTF16会为给你带来不一样的感觉。

   

   

转载于:https://www.cnblogs.com/zizifn/p/4716712.html

weixin_30566063
关注
Unicode编码与多字节编码的转换
bobopeng
10-23 926
/********************************************** 函数作用：把Unicode字符串转换为Ascii字符串 参数说明： *********lpcwszStr：要转换的Unicode字符串 *********lpcwszStr：接收转换结果的Ascii字符串 *********dwSize：用来接收转换结果的缓冲区大小 ******************
易语言-UTF8 UTF16 Unicode逐字分割 支持emoji字节集
06-25
本文将详细解析"易语言-UTF8 UTF16 Unicode逐字分割 支持emoji字节集"这个主题，以及如何在易语言环境中实现字符编码的处理。 首先，我们要理解UTF-8、UTF-16和Unicode这三个概念。Unicode是一个字符集，它包含了...
字符编码的概念（UTF-8、UTF-16、UTF-32都是什么鬼）
热门推荐
顾小暖的博客
11-30 6万+
字符集为每个字符分配了一个唯一的编号，通过这个编号就能找到对应的字符。在编程过程中我们经常会使用字符，而使用字符的前提就是把字符放入内存中，毫无疑问，放入内存中的仅仅是字符的编号，而不是真正的字符实体。 这就抛出了一个问题，如何才能将字符编号放入内存中呢？ 对于 ASCII 字符集，这很容易。ASCII 总共包含 128 个字符，用 7 个比特位（Bit）恰好能够存储，不过考虑
UTF-8 与 UTF-16区别详解
最新发布
草莓不爱吃白菜的博客
02-19 1834
计算机将数据（包括文本字符）存储为二进制（1 和 0）。 ASCII 是一种早期的编码方式，或将字符映射到二进制代码以便计算机可以存储它们。但是，ASCII 没有为非拉丁字符和数字以二进制表示提供足够的空间。 Unicode 是解决这个问题的方法。Unicode 为每种人类语言中的每个字符分配一个唯一的“代码点”。 UTF-8 是一种 Unicode 字符编码方法。这意味着 UTF-8 获取给定 Unicode 字符的代码点并将其转换为二进制字符串。它也做相反的事情，读取二进制数字并将它们转换回字符。 U
(Unicode) UTF-8与UTF-16之间转换
韩搏专栏
10-21 3万+
一、Unicode的由来  1、我们知道计算机其实只认识0101这样的字符串，当然了让我们看这样的01串会比较头晕，所以为了描述简单一般都用八进制、十进制、十六进制表示。 实际上都是等价的。其它像文字图片音视频等计算机也是不认识的，为了让计算机能表示这些信息就必须转换成一些数字，必须按照一些规则转换。 比如：刚开始的时候就有ASCII字符集(American Standard Code fo
UTF-8和UTF-16简介
proorck2019的博客
06-25 5373
首先介绍unicode，最开始计划有31位，但到后来一执行，发现0x 0~10FFFF就够用了，仅有21位。 UTF-8是一种变长、多字节编码方案，从一字节模式，到六字节模式。虽然unicode只到21位，但是查看pcre2的源代码发现，对UTF-8的支持到六字节。 0******* 110***** 10****** 1110**** 10****** 10****** 11110*** 10****** 10****** 10****** 这里仅罗列到四字节模式。 分析一个UTF-8编码的文件，看第一
unicode/utf8 and unicode/utf16（c代码）
12-19
1. **UTF-8到Unicode**：从UTF-8编码的字节序列解析出码点。这个过程需要检查字节顺序标志（BOM）和处理多字节序列。 2. **Unicode到UTF-8**：将码点转换成对应的UTF-8字节序列。需要计算出码点所需的字节数，并...
JS实现unicode和UTF-8之间的互相转换互转
10-19
由于UTF-8编码的字节顺序是从低到高，所以在组合成Unicode码点时需要进行位移操作（如`(uCode>>8)&0xff`）。 3. **注意事项**： - UTF-8编码中，ASCII字符（0x00到0x7F）只需要一个字节，但上述代码也考虑到了这种...
读取ANSI、Unicode、Unicode big endian、UTF-8、UTF8 Bom、UTF16-LE明码文件
09-15
读取ANSI 明码文件 读取Unicode 明码文件 读取Unicode big endian 明码文件 读取UTF-8 明码文件 读取UTF8 Bom 明码文件 读取UTF16-LE 明码文件 读取UTF16-BE 明码文件 到多字节字符串 扩展类CFilePlainCode
java 解决异常 2 字节的 UTF-8 序列的字节2 无效的问题
08-31
总的来说，处理“2字节的UTF-8序列的字节2无效”的异常需要对文件编码、XML解析以及Java的I/O和字符编码有深入的理解。通过排查上述可能的原因，并采取相应的解决方案，通常可以成功解决这个问题。
utf-8、ANSI、Unicode相互转化c++实现
12-13
utf-8、ANSI、Unicode相互转化c++实现 std::string ConverANSI2UTF8(const std::string & str); std::wstring ConverANSI2Unicode(const std::string str); std::wstring ConverUTF82Unicode(const std::string str); std::string ConverUnicode2UTF8(const std::wstring str); std::string ConverUnicode2ANSI(const std::wstring str); std::string ConverUTF82ANSI(const std::string str);
UTF-8 与 UTF-16编码详解
小鲁蛋的博客
08-19 2万+
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元， 长度为2 Byte）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。引用维基百科中对于UTF-16编码的解释我们可以知道，UTF-16最少也会用2 Byte来表示一个字符，因此没有办法兼容ASCII编码。
UTF-8与UTF-16的区别
lcj200813138020的专栏
07-16 6388
UTF-8 与UTF-16的区别     UTF-16比较好理解,就是任何字符对应的数字都用两个字节来保存.我们通常对Unicode的误解就是把Unicode与UTF-16等同了.但是很显然如果都是英文字母这做有点浪费.明明用一个字节能表示一个字符为啥整两个啊.    于是又有个UTF-8,这里的8非常容易误导人,8不是指一个字节,难道一个字节表示一个字符?实际上不是.当用UTF-8时表示一个
utf-8,utf-16,utf-32与unicode
qq_36611791的博客
11-19 243
utf-8,utf-16,utf-32与unicode unicode unicode是计算机科学领域的业界标准，用于对世界上存在的字符进行编码。进一步说unicode是一份字符码表，分为17个平面，U00****----U10****(16进制)，所以每个平面下有2的16次方个编码符号，其中00平面称为基本多文种平面(平面介绍可百度），其他为辅助平面。 unicode到utf unico...
Unicode(UTF-8, UTF-16)的简单理解
谢白羽
01-14 1486
文章目录一、Unicode出现的意义1）背景2）发展起源ASCII码3）ASCII码的缺点和优点4) Unicodey出现的意义二、Unicode详细介绍0）Unicode定义1）涉及的步骤2）UTF-8 和UTF-16的出现原因 链接：https://www.cnblogs.com/kingcat/archive/2012/10/16/2726334.html 一、Unicode出现的意义 1）背景 计算机只认识0101这样的字符串，很多时候为了描述简单都用十进制,十六进制,八进制表示.实际上都是等价的,
Unicode，UTF-32,UTF-16,UTF-8到底是啥关系？
chaoguo1234的专栏
06-09 476

 编码的目的，就是给抽象的字符赋予一个数值，好在计算机里面表示。常见的ASCII使用8bit给字符编码，但是实际只使用了7bit，最高位没有使用，因此，只能表示128个字符；ISO-8859-1(也叫Latin-1，或者直接8859)使用全8bit编码，可以看成是ASCII的超集，因为它的低128个字符编码和ASCII一样，也就是说，如果一个字符使用ASCII编码，...
UTF8、UTF16、UTF32区别
zhaohong_bo的专栏
04-10 1万+
UTF8、UTF16、UTF32区别
UTF-8与UTF-16 区别与效率选择
weixin_34273046的博客
08-26 775
目录节 1. UTF-8 与 UTF-16的区别。 2. 二者可否相互转换 3. 在哪些条件下使用正确的转换方式，能提高效率 1. UTF-8 与 UTF-16的区别。 　 使用 UTF-8 压缩字符串时，UTF-8分别将字符串分成1个字节、2个字节、3个字节、4个字节。 值在 0x0080 以下 = 1字节。 值在 0x0080~0x07FF ...
Unicode,UTF-8,UTF-16傻傻分不清？一文看懂
vcj1009784814的博客
06-24 1122
文章目录ASCIIUnicodeUTF-8UTF-16UTF-32 ASCII 美国人制定的一套字符集，描述英语中的字符和8位二进制数（1字节）的对应关系，这被称为 ASCII 码。ASCII码共定义了128个字符，使用了8位二进制数中的7位，最高位统一规定为0。128个字符对英语来说足够了，但对于其他语言来说是不够的。大家在0~127号字符上达成了一致，但对于128~255号字符，不同国家有不同...
C++实现多字节到UTF-8与Unicode的转换
本文介绍的是在C++编程中进行多字节字符串与UTF-8、Unicode编码之间的转换方法。提供了两个关键的函数：MBToUTF8用于将多字节字符串转换为UTF-8，而UTF8ToMB则用于将UTF-8字符串转换回多字节字符串。 在计算机科学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值