Golang底层原理剖析之string类型与字符编码

Unicode简介

Unicode记录着世界上所有字符对应的一个数字，它仅仅只是一个字符集，规定了符合对应的二进制代码，至于这个二进制代码如何存储则没有任何规定。

Unicode 没有规定字符对应的二进制码如何存储。以汉字“汉”为例，它的 Unicode 码点是 0x6c49，对应的二进制数是 110110001001001，二进制数有 15 位，这也就说明了它至少需要 2 个字节来表示。可以想象，在 Unicode 字典中往后的字符可能就需要 3 个字节或者 4 个字节，甚至更多字节来表示了。

这就导致了一些问题，计算机怎么知道你这个 2 个字节表示的是一个字符，而不是分别表示两个字符呢？这里我们可能会想到，那就取个最大的，假如 Unicode 中最大的字符用 4 字节就可以表示了，那么我们就将所有的字符都用 4 个字节来表示，不够的就往前面补 0。这样确实可以解决编码问题，但是却造成了空间的极大浪费，如果是一个英文文档，那文件大小就大出了 3 倍，这显然是无法接受的

于是，为了较好的解决 Unicode 的编码问题， UTF-8 和 UTF-16 两种当前比较流行的编码方式诞生了。当然还有一个 UTF-32 的编码方式，也就是上述那种定长编码，字符统一使用 4 个字节，虽然看似方便，但是却不如另外两种编码方式使用广泛。

Unicode 编码方案之UTF-8

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1 - 4 个字节表示一个字符，根据字符的不同变换长度。编码规则如下：

1. 对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点。因此，对于英文中的 0 - 127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码那个年代的文档用 UTF-8 编码打开完全没有问题。

2. 对于需要使用 N 个字节来表示的字符（N > 1），第一个字节的前 N 位都设为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点来填充。

1. 字符‘e’的编号是101，那么它对应的UTF-8的编码模板是0???,接着将101转成二进制填入，则‘e’的UTF-8的二进制编码为01100101
2. [1110 0100,10 111000,10 010110]来看第一个字节，它以1110开头，说明这一字符占用三个字节，它要和后面2个字节共同表示一个字符，除去这么标识位，把剩下的组合起来，就得到该字符的二进制编号[0100111000010110]转换成十进制19990，在Unicode中对应汉字‘世’
3. ‘界’在Unicode字符集中编号为30028，在[2048,65535]这个区间，要使用[1110???,10???,10???]这个模板,把30028转换成二进制[0111010101001100]，再填入模板中
   
   编码完成！

string类型

string结构

go语言中默认使用的是UTF-8编码

string由两部分组成，一部分是指向字符串起始地址的指针，另一部分是 字节个数len 注意不是字符个数，是字节个数！这个数据类型占用16B空间，指向字符串起始地址的指针和存在字节个数的整型分别是8B

go里面的字符串变量就长这样

func main() {
	s1 := "eggo世界"
	fmt.Println(s1)
	fmt.Println("len=", len(s1))
}

$ go run main.go
eggo世界
len= 10

string注意点

1. string中的内容不能被修改，go语言认为字符串内容是不会被修改的，编译器会把字符串内容分配到只读内存段

s1 := "eggo世界"

s1[2]='w' //err,go语言认为字符串内容是不会被修改的
//编译器会把"eggo世界"这样的字符串内容分配到只读内存段

2. 可以把string当作字节切片的参数，这样会为slice变量重新分配一段内存，并且会拷贝原来字符串的内容

bs:=[]byte(s1)
bs[2]='w'

3. string可能为空，但不会是nil