一.Unicode
前言
本篇文章介绍unicode
定义
unicode的中文翻译为统一码,也叫万国码、单一码,由统一码联盟开发,是计算机科学领域里的一项业界标准。
简单的来看,unicode就是一个数字,每一个数字对应一个字符的编码,这个字符囊括了整个世界使用的全部语言和符号的字符,所以,从根本上来说,unicode就是一个映射表,一个从数字到文字的映射
unicode发展
1990年开始研发,1994年正式发布1.0版本,2023年12月12日发布15.1.0版本。共收录149,813个字符。
UCS-2和UCS-4
UCS:Universal Character Set的简称,中文叫通用字符集,使用八位编码,是计算机用来表示所有字符的集合。
UCS-2:2个字节编码的通用字符集,其实对应的类型一般就是unsigned short,一般两个字节就可以包含大部分的欧美字符和常用中文。
UCS-4:4个字节编码的通用字符集,其实对应的类型一般就是unsigned int,四个字节可以包含所有目前计算机可以表示的字符
unicode的编码方式
因为UCS-2从原理上来说是UCS-4的子集,所以我们用UCS-4的编码来讲解unicode的编码方式,也就是我们把一个unicode码理解为unsigned int
一个unicode码有四个字节:A B C D,A是最高位字节
A的首位一定是0,也就是A的表示范围为00000000~01111111,供128个值,我们把这128个值称为group,一个unicode码一定位于这128个group之中,其实目前所有已使用的都是group0,也就是A其实是0.
B表示范围为00000000~11111111,共256个值,我们把这256个值称为平面,其实现在unicode编码使用的平面也占很少一部分,后面会介绍
C表示范围为00000000~11111111,共256个值,我们把这256个值称为行,所以现在每个平面有256行
D表示范围为00000000~11111111,共256个值,我们把这256个值称为码位,所以现在每个平面有256*256=65536个码位
每个码位就代表一个字符的unicode值
虽然原理上unicode可以支持32768 * 65536个码位,但是实际上根本用不到这么多,可能随着以后很多特殊符号的产生,会使用更多的码位,但是现在所有的unicode码位集中在第0个group,第0~第16个平面的所有码位,用unicode的字节范围表示就是0x000000~0x10FFFF,我们列一下基本的平面分类:
0平面:编码范围0x0000~0xFFFF,0平面也叫基本多文种平面,该平面基本包含了所有的文字编码,包括大部分的中日韩表意文字和世界各国语言的字符
其中,编码范围0xE000-0xF8FF,共6400个码位,叫做专用区,这部分是没有字符的
其中,编码范围0xD800-0xDB7F,被称为代理对高位字
其中,编码范围0xDB80-0xDBFF,被称为代理对私用区高位字
其中,编码范围0xDC00-0xDFFF,被称为代理对低位字
这三部分被称为代理区,编码范围为0xD800-0xDFFF,共2048个码位,这部分也是没有字符的
1平面:编码范围0x10000~0x1FFFF,1平面被叫做多文种补充平面,我们平常使用的很多表情符号就定义在该平面
2平面:编码范围0x20000~0x2FFFF,2平面被叫做表意文字补充平面,顾名思义,该平面是针对于中日韩表意文字的补充
3平面:编码范围0x30000~0x3FFFF,3平面被叫做表意文字第三平面,顾名思义,该平面是针对于中日韩表意文字的补充
4~13平面是未使用的平面
14平面:编码范围0xE0000~0xEFFFF,14平面被叫做特别用途补充平面,这个平面定义了两个块,分别为标签块,编码范围0xE0000~0xE007F,共128个字符,另一个是变体选择符补充,编码范围0xE0100~0xE01EF,共240个字符,该平面一共就定义了368个字符。
15~16平面:编码范围0xF0000~0x FFFFF,0x100000~0x10FFFF,这两个平面被称为保留作为私人使用区,可以简写为PUA,Private Use Area的意思
在计算机中的编码方式
即然所有的字符都有对应的编码,那么我们为什么不在计算机中直接保存unicode值呢,想象一下,unicode目前所有的字符得用四个字节才能完全包含,如果我们默认都使用unicode保存字符信息,相当于一个字符就得占用四个字节的空间,这对于特别是英文等欧美字符来说是极大的浪费,尤其是面对大量的文本或者是网络传输的时候。其实,这种编码方式已经存在了,就是UTF-32编码方式,UTF-32就是对每个字符都使用四个字节来保存,这种编码方式看似很简单,不需要复杂的算法处理和编码逻辑,但是也正是这种简单,造成了空间的极大浪费,因为我们其实大部分使用的字符都是位于第0平面的,也就是高位的两个字节基本没有意义,这使得UTF-32通常会是其它编码的二到四倍。
但是,如果我们不使用每个字符四个字节的空间, 我们有两个需要解决的问题:
我们需要找到一种方案,字符占用的空间可以少于四个字节,但是我们必须能表示所有的字符才行
我们针对于不同的字符使用不同的空间,但是我们必须得知道当前字符使用了几个字节,也就是我们得知道当前字符在哪个字节结束,在哪个字节开始。
由此衍生出了两种编码方式,就是最常见的utf-16和utf-8
UTF-16
我们根据unicode的编码能够看到,其实大部分使用频繁的码位都位于group0的第0平面,也就是编码范围为0x0000~0xFFFF,占用两个字节,那么我们假设如果unicode编码小于0x010000的时候,我们就用两个字节表示,也就是16位空间。除此之外,我们用两个16位,也就是32位表示。这就涉及到第二个问题了,如果我从文件中读取utf-16编码的数据,面对一个16位的数据,我得知道:
这个字符就是16位呢,还是其实是32位的一部分
如果是32位,我还得知道是32位的高16位呢,还是32位的低16位呢。
UTF-16编码很巧妙的解决了这个问题,还记得前面讲的第0平面的代理区吗?这个代理区的编码范围内可没有使用的unicode码位。代理区的范围为0xD800-0xDFFF,换成二进制表示可能看的更清楚一下,11011000 00000000~11011111 11111111,也就是以110110打头的所有码位和以110111打头的所有码位都没有被使用。既然没有任何码位以这两个值开头,我们就可以使用这两个二进制序列打头来表示这是一个32位数据,两个正好可以一个表示高位,一个表示低位,比如我们读取utf-16编码的数据,判断一个16位二进制序列的前6位:
如果等于110110,表示这是32位编码的高16位
如果等于110111,表示这是32位编码的低16位
否则,当前16位序列就是unicode值
现在就剩下一个问题了,32位序列去掉两个6位打头的序列,只剩下20位,这20位能表示所有的unicode码位吗?我们计算一下:
现在使用的码位范围是0x000000~0x10FFFF,
0x0000~0xFFFF的我们不用管,这个用16位就可以表示了
对于大于等于0x010000的情况,我们统一减去0x010000,也就是表示范围变成(0x010000 - 0x010000)~(0x10FFFF - 0x010000)= 0x00000~0xFFFFF,20个二进制序列正好足够。
下面,我们用一个例子看看unicode值是怎么用UTF-16编码表示的,比如unicode值0x201F2,中文的汉子𠇲的unicode编码,0x201F2 - 0x10000=0x101F2,二进制表示为0001000000 0111110010,前后两个10位二进制分别添加高低位前缀,最终𠇲的UTF-16表示为:
二进制表示:1101100001000000 1101110111110010
十六进制表示:0xd840 0xddf2
十进制表示:55360,56818
随便找一个UTF-16编码解码在线网站试一下是正确的。
UTF-8
UTF-16的编码方式简单,但是从名称就可以看出来,编码方式一定是以16位字节序列为基本单元的,对于很多英文字符的表示还是不够简单,所以本部分介绍UTF-8,最主流的字符编码方式,因为他可以根据字符的unicode值自动编码为1个字节,2个字节,3个字节和4个字节。即然结论一定,剩下的问题就是我们怎么判断一个字节是字符的开始,结束还是中间部分,接着往下看
UTF-8采用了一种特殊的编码方式:(x可以是0或者是1)
如果字符只需要一个字节,用0xxxxxxx的方式表示,这种方式的好处是兼容了ascii的表示方式,并且我们根据第一个位就可以判断当前字符是不是一个字节,但是坏处就是很多拉丁字母没办法用一个字节表示了。一个字节的实际编码位为7位,表示范围为[0,127]
如果字符需要两个字节,用110xxxxx 10xxxxxx的方式表示,我们只需要判断字节序列是不是以110开头的即可,如果是,该字符就是以两个字节编码。两个字节的实际编码位为11位,表示范围为[128,2047]
如果字符需要三个字节,用1110xxxx 10xxxxxx 10xxxxxx的方式表示,我们只需要判断字节序列是不是以1110开头的即可,如果是,该字符就是以三个字节编码。三个字节的实际编码位为16位,表示范围为[2048,65535]
如果字符需要四个字节,用11110xxx 10xxxxxx 10xxxxxx 10xxxxxx的方式表示,我们只需要判断字节序列是不是以11110开头的即可,如果是,该字符就是以四个字节编码。四个字节的实际编码位为21位,表示范围为[65536,2097151]
下面还是用汉字𠇲为例,看看他的UTF-8编码如何,
𠇲的unicode编码为0x201F2,十进制为131570,在区间[65536,2097151],所以,需要四个字节
二进制表示为000 100000 000111 110010
所以UTF-8表示为
11110000 10100000 10000111 10110010
看下面代码:
int main(void)
{
// \xf0 = 11110000
// \xa0 = 10100000
// \x87 = 10000111
// \xb2 = 10110010
char c[]={'\xf0','\xa0','\x87','\xb2','\0'};
printf("%s\n",c);
return 0;
}
1
2
3
4
5
6
7
8
9
10
结果正好输出
𠇲
1
关于UTF-8和UTF-16的思考
我们了解了UTF-8和UTF-16的编码方式之后,可以看到:
对于英文和数字,UTF-8有很大的优势,只需要1个字节,但是UTF-16需要两个字节
但是对于很多中文,UTF-16两个字节就可以表示,而UTF-8需要三个字节,因为UTF-8需要更多的位来标记当前编码的字节数
下面这张图是我用不同的编码方式保存的文本文件
可以发现
对于英文数字的情况(文件utf-8-en和文件utf-16-en),utf-8明显小很多,基本一半吧。因为一个是1个字节,一个是两个字节
对于中文的情况(文件utf-8-cn和文件utf-16-cn),utf-16差不多小1/3,因为utf-16用两个字节,而utf-8用三个字节(unicode小于2048的时候两个字节就够了)
所以,特别是在网络传输的时候,我们可以根据数据的类型来调整编码方式已达到最小的数据表示和最大的传输速度。
关于LE和BE
LE和BE表示字节在存储器的保存方式
LE:按照小端法保存,即编码的低位字节放到最前面,这个是针对于整个字符编码的,比如我们前面使用UTF-8表示的文字𠇲的字节序列为
\xf0 \xa0 \x87 \xb2
1
按照LE的保存方式应该是
\xb2 \x87 \xa0 \xf0
1
BE:按照大端法保存,即编码的高位字节放到最前面
BOM
英文名称:Byte Order Mark。字节顺序标记,出现在文本文件头部,Unicode编码标准中用于标识文件是采用哪种格式的编码。
下面列出BOM的各种表示结束本文
UTF-8:EF BB BF
UTF-16LE:FF FE
UTF-16BE: FE FF
UTF-32LE:FF FE 00 00
UTF-32BE:00 00 FE FF
原文链接:https://blog.csdn.net/b1049112625/article/details/135000855
二. ASCII码
一个字符的标准ASCII码的长度是7位。1234
虽然ASCII码通常存储和传输时占用一个字节(8位二进制数),但其中最高位(第7位)通常用作奇偶校验位,实际用于表示字符的编码长度是7位。
需要了解的另外去找文章看
引入ASCII码是为了解释下文中的②,另外ASCII码对应的字符在UTF-8中转为二进制是一一对应的,这里主要是为了解释在下文中,我们JS选择的编码是UTF-8时,为什么中文的变量也能打印出来,ASCII码不是只能表示7位长度的字符吗?个人理解的意思:②位置中只是建议标识符都使用ASCII码定义,而我们的JS选择的编码依然是UTF-8,只是ASCII码是UTF-8的一个子集能被兼容。
三. Unicode和ASCII码在Javascript中的应用
Javascript程序是使用Unicode字符集编写的,因此在字符串和注释中可以使用任意Unicode字符。
语言本身支持在标识符中使用Unicode字母、数字和象形文字(但不支持表情符号),这意味着常量或变量的名字中可以包含数学符号或非英语文字。某些计算机硬件和软件无法显示、输入或正确处理全部Unicode字符。为方便程序员编码和支持使用老技术的系统,Javascript定义了转义序列,从而可以仅使用ASCII字符来表示Unicode字符。①这些Unicode转义序列以\u开头,后跟4位十六进制数字(包括大写或小写的A-F,Javscript早期版本只支持4位数字转义序列)或包含在一对花括号内的1~6位十六进制数字(带花括号版本是ES6新增的)。 Unicode转义序列可以出现在Javascript字符串字面量、正则表达式字面量和标识符中(不能出现在语言关键字中)。
Unicode转义序列也可以出现在注释中,但因为注释会被忽略,所以注释中的转义序列会被作为ASCII字符处理,不会被解释为Unicode。
<1>定义Unicode转义序列变量
let caf\u00e9 = 1; // 使用早期Javascript中的Unicode转义序列 console.log(caf\u00e9); //结果是1,\u00e9等于é // 使用ES6新增的花括号的Unicode转义序列 console.log(caf\u{E9}); // 结果是1,\u{E9}也等于é // 查看早期Javascript的Unicode转义序列:\u00e9是否与ES6新增的花括号Unicode转义序列:\u{E9}相等 console.log("\u00e9" === "u{E9}"; // 结果是true
考虑到可移植性和易于编辑,建议在②标识符(这里要注意,建议的是在标识符中只使用ASCII字母和数字,我理解的原因是能够保证各个开发者书写的标识符对应的Unicode编码的相同的,便于移植,而使用Unicode编码可以定义在文本编辑上看起来是一样的标识符,ASCII码和Unicode字符集可以看下面的一些介绍)中只使用ASCII字母和数字(为了避免使用Unicode),让我们来看下面的一个案例:é可以使用Unicode转义编码:\u00e9或\u{E9}(这两个是等价的)表示,同时也可以使用e\u{301}或e\u0301表示,这两种变量定义在文本编辑器中看起来完全相同,但是它们的二进制编码不同,因此javascript认为他们不同,此时打印\u00e9 ==== e\u0301会是各自存储的值。
1.我们通过例子来验证
const caf\u00e9 = 1; // 声明并赋值了café,赋值为1 /** * 声明并赋值了café,赋值为2,按照javascript规范,不允许重复声明相同变量, * 而这里能够通过的原因是我们前面提到的,它们的二进制编码不同,因此javascript * 认为它们不同 */ const cafe\u0301 = 2; console.log("caf\u00e9=",caf\u00e9); // 打印结果:café=1 console.log("cafe\u0301=",cafe\u0301); // 打印结果:café=2 // 通过===验证两种命名标识符方式是否相等 console.log("caf\u00e9" === "cafe\u0301"); // 打印结果:false
得出结论:我们可以使用不同的Unicode转义序列来定义文本编辑器中看起来完全相同的标识符,但是它们的二进制编码不同。
四. 引入问题
看完上面的内容,不知道有没有小伙伴有一个疑问:在UTF-8编码中,存在超过16位和24位的字符又是在Unicode转义序列中如何表示的?Unicode转义序列在早期的Javascript中只用四个十六进制数字表示(等价于2字节也就是16位),而在ES6引入的花括号表示也只用六个十六进制数字表示(等价于3字节也就是24位)。
我们来看如下一张图,再到js中打印"\ud840\uddf2"也能得出一致结果(已验证),这说明超出部分在早期的Javascript中表示能使用两个Unicode转义序列表示,我们接着打印"\u{201F2}"(ES6)也能得到相同的字。ES6中的表示"\u{201F2}"和"\ud840\uddf2"的转换为什么是不一致的,可以看目录中一的位置