基础组件(4) 字符编码Unicode原理

字符编码和字符集：

字符编码：

是一种规则，将字符映射为特定的字节或字节序列，以便计算机进行存储或者通信网络传递；

字符集：

是书写系统字母和符号的集合，也就是多个字符集合；

二者的关系：

通常某个特定的字符集，是采用特定的编码方式的。

unicode字符集，有三种编码方式：

UTF 是 Unicode Transformation Format 的缩写，意思是“Unicode 转换格式”，后面的数字表明至少使用多少个比特位（Bit）来存储字符。

UTF-8：

1-4字节来存储，是变长的编码方案；大端存储

UTF-32：

4个字节存储，固定长度的编码方案；

UTF-16：

使用2或者4个字节存储，长度即固定又可变；
➢UTF-16BE，其后缀是 BE 即 big-endian，大端的意思。大端就是将高位的字节放在
低地址表示。
➢ UTF-16LE，其后缀是 LE 即 little-endian，小端的意思。小端就是将高位的字节放
在高地址表示

固定开头：

UTF 格式在文件中总有固定文件头，程序打开一个文件时就可识别是 UTF-8 还是 UTF-16。

UTF 编码	UTF 编码
UTF-8	EF BB BF
UTF-16LE	FF FE
UTF-16BE	FE FF
UTF-32LE	FF FE 00 00
UTF-32BE	00 00 FE FF

注意：
只有 UTF-8 兼容 ASCII，UTF-32 和 UTF-16 都不兼容 ASCII，因为它们没有单
字节编码。

面试：

utf-8和utf-16的哪个占用空间大？
大部分为汉字时，基本汉字是2个字节，空间上utf-8空间是大于utf-16d
代码中，大部分是ascii码，使用utf-8的空间 < utf-16。

压缩原理面试不考，不做总结，工作中遇到再学习。