字符集及其转换

字符集简介 

字符集是规定字符编码的规则。不同的字符集会将字符分别以字节为单位进行编码。

 

Unicode编码可以使所有语言文字共用同一套编码规则，但是英语因为编码所用的位少所以会浪费很多空间。Unicode占用2个字节，英文字母只需要一个字节，用Unicode储存英文时会浪费一半的空间。

为了防止英文的编码占用过多的空白，可以将Unicode以utf8的方式来编码，节省空间。utf8编码会用1~4个字节来编码，避免了短编码也用2字节来编码这样浪费空间的方式。

Unicode字符集的UTF-8编码方式

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种unicode的实现方式。其他实现方式还包括UTF-16和UTF-32，不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。

UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式

(十六进制) | （二进制）

------------------------------+---------------------------------------------

0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

下面，还是以汉字“严”为例，演示如何实现UTF-8编码。

已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100 10111000 10100101”，转换成十六进制就是E4B8A5。

来自 <https://blog.csdn.net/u012999985/article/details/77619368>

 一般不使用ISO8859-1，ISO8859-1是单字节编码方式，可以看做是ASCII的拓展，定义了128~255的编码字符。多用于欧洲其他西文的编码，不用于中文。

---

在IDEA中用JAVA进行字符集转换

 

try里的两个语句：

• arr得到了一个数组，是将字符串str编码之后得到的二进制数组。
• arr通过String的该构造方法可以解码，变成字符串赋值给newStr

也可以从文档中看出，getByte方法可以得到一个字节数组

有些字符集无法正常转化

GBK是GB2312的升级版，包含了所有GB2312的编码。所以GBK和GB2312之间可以相互转化。

Unicode、utf-8、ISO8859-1之间均不能转化。

首先ISO8859的长度是一个字节，Unicode是两个字节的长度，长度上就不兼容。UTF-8的长度是根据内容自动变化的，无法和固定长度的字符集相互转化。

验证：

用以下方法对“你好”进行编码，可以得到各种字符集的编码结果

结果是

可以看到只有前两种是一样的，只有编码相同的字符集之间才能相互转换，所以GBK编码之后可以用GB2312解码，而其他的字符集之间无法转化。

UTF-8可以将多字节字符串编码成多个字节来存储，而且开头都是1，所以结果的最后一行全是负数

不能直接打印arr，直接打印arr是数组首字节的地址。用toString相当于打印值。

不过网上说unicode是2字节编码，但是打印出来有3字节，原理暂时不明。