什么是字符集???
相信很多对字符集编码不够了解的程序员经常会出现很多乱码问题,抱有很多疑惑。比如:
- 为什么会出现乱码?
- 这里用的是什么字符编码?
- 创建一个文本它是GBK编码还是UTF-8编码?
- 我应该使用GBK编码还是UTF-8编码?
- Unicode和UTF-8的区别是什么?
一、基础概念
1. 字节
这个是最基本的概念,字节是计算存储容量的一种计量单位。我们知道计算机只能识别1和0组成的二进制位。一个数就是1位(bit),为了方便计算,我们规定8位就是一个字节。
例如 : 00001111 \color{#c7254e}{00001111} 00001111 这个8位二进制数就占了一个字节的存储容量。
2. 字符
字符和字节不太一样,任何一个文字或符号都是一个字符,但所占字节不一定,不同的编码导致一个字符所占的内存不同。
例如:标点符号 + \color{#c7254e}{+} +是一个字符,汉字 我 们 \color{#c7254e}{我们} 我们是两个字符,在GBK编码中一个汉字占2个字节,在UTF-8编码中一个汉字占3个字节。
随着时代的发展,程序员们希望在计算机中显示字符,但计算机只能识别0和1的二进制数。于是就有了编码规范。
3. 编码规范
所谓字符集其实是一套编码规范中的子概念,为了显示字符,国际组织就制定了编码规范,希望使用不同的二进制数来表示代表不同的字符,这样电脑就可以根据二进制数来显示其对应的字符。我们通常就称呼其为XX编码,XX字符集。
例如:GBK 编码规范,根据这套编码规范,计算机就可以在中文字符和二进制数之间相互转换。而使用GBK编码就可以使计算机显示中文字符。
接下来为大家介绍一下编码规范里的3个子概念。
(1). 字库表
一套编码规范不一定包含世界上所有的字符,每套编码规范都有自己的使用场景。而字库表就存储了编码规范中能显示的所有字符,计算机就是根据二进制数从字库表中找到字符然后显示给用户滴,相当于一个存储字符的数据库。
例如:几乎所有汉字都保存在GBK 编码规范的字库表中。所以可以显示汉字,但法语,俄语并不在其字库表中,所以GBK不能显示法语,俄语等不包含在其中的字符。
(2). 字符集(编码字符集)
我们平时说的字符集全称是“编码字符集”。在一个字库表中,每一个字符都有一个对应的二进制地址,而字符集就是这些地址的集合。
例如:在ASCII码的编码字符集中,字母A的序号(地址)是65,65的二进制就是 01000001 \color{#c7254e}{01000001} 01000001。我们可以说编码字符集就是用来存储这些二进制数的。 而这个二进制数就是编码字符集中的一个元素,同时它也是字库表中字母A的地址。我们根据这个地址就可以显示出字母A。
**结论:**字符集和字库表一一对应,相互转换,这是电脑识别字符的关键。
(3). 字符编码(编码方式)
知道字库表和字符集后,我们就可以直接使用二进制地址来得到字符了。
但直接使用字符对应的二进制地址来显示文字是十分浪费的,Unicode 编码规范中包括了几百万个字符,想要包括几百万个不同的字符,起码需要3个字节的容量,为了方便将来扩展,Unicode还保留了更多未使用的空间,最多可以存储4个字节的容量。
因此为了区分每个字符,哪怕是 00000000 \color{#c7254e}{00000000} 00000000 00000000 \color{#c7254e}{00000000} 00000000 00000000 \color{#c7254e}{00000000} 00000000 00001111 \color{#c7254e}{00001111} 00001111这种其实只占了1个字节的字符,我们也要为他分配4个字节的空间,这就导致一个可以用1G保存的文件,现在需要4G才能保存,这是极其浪费的做法。
于是程序员制定了一套算法来节省空间,而每种不同的算法都被称作一种编码方式(下文中为了便于理解都将使用编码方式来称呼字符编码)。一套编码规范可以有多种不同的编码方式,不同的编码方式有不同的适应场景。
例如:UTF-8就是一种编码方式,Unicode是一种编码规范。此外,Unicode还有UTF-16,UTF-32这两种编码方式,不同的编码方式节约的空间不同。
**总结:**一个较短的二进制数,通过一种编码方式,转换成编码字符集中正常的地址,然后在字库表中找到一个对应的字符,最终显示给用户。
二、常见编码规范简单介绍
1. ASCII码
ASCII码,是最早产生的编码规范,一共包含 00000000 \color{#c7254e}{00000000} 00000000~ 01111111 \color{#c7254e}{01111111} 01111111共128个字符,可以表示阿拉伯数字和大小写英文字母,以及一些简单的符号。可以看出ASCII码只需要1个字节的存储空间,最高位为0。后被称为(American Standard Code for Information Interchange,美国信息交换标准代码)。它没有特定的编码方式,直接使用地址对应的二进制数来表示,非要说那就叫他ASCII 编码方式。
2. GBK
GBK全称《汉字内码扩展规范》,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字。GBK字符集中所有字符占2个字节,不论中文英文都是2个字节。 没有特殊的编码方式,习惯称呼GBK 编码。一般在国内,汉字较多时使用。
3. ISO-8859-1
ISO-8859-1收录的字符除ASCII收录的字符外,还包括西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号。因为ISO-8859-1编码范围使用了单字节内的所有空间,在支持ISO-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之,把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题。这是个很重要的特性,MySQL数据库默认编码是Latin1就是利用了这个特性。ASCII编码是一个7位的容器,ISO-8859-1编码是一个8位的容器。
由此可见,ISO-8859-1只占1个字节,且MySQL数据库默认编码就是ISO-8859-1,有时,tomcat服务器默认也是使用ISO-8859-1编码,然而ISO-8859-1是不支持中文的,有时这就是在浏览器上显示乱码的原因。
4. Unicode
从以上几种编码规范可以看出,各种编码规范互不兼容,且只能表示自己需要的字符,于是,国际标准化组织(ISO)决定制定一套全世界通用的编码规范,这就是Unicode。
Unicode包含了全世界所有的字符。Unicode最多可以保存4个字节容量的字符。也就是说,要区分每个字符,每个字符的地址需要4个字节。这是十分浪费存储空间的,于是,程序员就设计了几种字符编码方式,比如:UTF-8,UTF-16,UTF-32。
最广为程序员使用的就是UTF-8,UTF-8是一种变长字符编码,注意:UTF-8不是编码规范,而是编码方式。我为大家介绍一下UTF-8的编码规则。
编码规则表
Unicode | 十六进制码点范围 | UTF-8 | 二进制 |
---|---|---|---|
0000 | 0000-0000 | 007F | 0xxxxxxx |
0000 | 0080-0000 | 07FF | 110xxxxx 10xxxxxx |
0000 | 0800-0000 | FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
0001 | 0000-0010 | FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
如上表所示,对于只需要1个字节的字符,UTF-8采用ASCII码的编码方式,最高位补0来表示。
例如: 01000001 \color{#c7254e}{01000001} 01000001我们就是用 01000001 \color{#c7254e}{01000001} 01000001来表示,对于一个字节的字符,其实就是直接使用地址表示。
而对于n个字节的字符(n>1),即大于一个字节的字符,采用第一个字节前n位补1。第n+1位填0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
例如:汉字严的Unicode码是4E25转换成二进制就是 01001110 \color{#c7254e}{01001110} 01001110 00100101 \color{#c7254e}{00100101} 00100101共15位,根据上表可知使用UTF-8字符编码后占3个字节,因此前3位是1,第4位(n+1位)是0,后面两个字节中每个字节的前两位都是10,即 1110 \color{#c7254e}{1110} 1110 x x x x \color{#c7254e}{xxxx} xxxx 10 \color{#c7254e}{10} 10 x x x x x x \color{#c7254e}{xxxxxx} xxxxxx 10 x x x x x x \color{#c7254e}{10xxxxxx} 10xxxxxx。填充进去后就变成了 1110 \color{#c7254e}{1110} 1110 0100 \color{#c7254e}{0100} 0100 10 \color{#c7254e}{10} 10 111000 \color{#c7254e}{111000} 111000 10 \color{#c7254e}{10} 10 100101 \color{#c7254e}{100101} 100101共计24位占3个字节。
由此可见,英文在UTF-8字符编码后只占1个字节,中文占了3个字节。
虽然UTF-8编码占的空间比GBK编码大,但他胜在面向全世界,至于使用哪一种编码还是取决于具体的使用环境。
三、编码与解码
1. 解码
一串二进制数,使用一种编码方式,转换成字符,这个过程我们称之为解码。就像解开密码一样,程序员可以选用任意的编码方式进行解码,但往往只有一种编码方式可以解开密码显示出正确的文字,而使用错误的编码方式,产生其他不合理的字符,这就是我们通常说的————乱码!
2. 编码
一串已经解码后的字符,我们也可以选用任意类型的编码方式重新转换成一串二进制数,这个过程就是编码,我们也可以称之为加密过程,无论使用哪一种编码方式进行编码,最终都是产生计算机可识别的二进制数,但如果编码规范的字库表不包含目标字符,则无法在字符集中找到对应的二进制数。这将导致不可逆的乱码!例如:像ISO-8859-1的字库表中不包含中文,因此哪怕将中文字符使用ISO-8859-1进行编码,再使用ISO-8859-1进行解码,也无法显示出正确的中文字符。
以上,大家就能明白了,乱码就是编码和解码使用的编码方式不一致,或者编码时其字库表中不包含相应字符所导致的结果。
四、代码演示
以Python语言为例,我们先将一串中文字符串使用UTF-8 编码方式进行编码变成字节数组,然后将字节数组打印出来。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
# 定义一个unicode的字符串
unichr = u'汉'
# 使用UTF-8编码转换为字节数组
bytechr = bytearray(unichr, 'UTF-8')
# 输出字节数组
for b in bytechr:
sys.stdout.write(str(b) + " ")
else:
print ""
结果:
230 177 137
从上面的结果可看出来,1个汉字变成3个字节。证明了1个汉字在UTF-8 编码方式下占3个字节。
继续将字节数组“bytechr”,使用UTF-8编码方式进行解码。
print(bytechr.decode('UTF-8'))
结果:
汉
解码后正确的显示了中文字符**
汉
\color{#c7254e}{汉}
汉**字。
如果我们使用GBK进行解码:
print(bytechr.decode('GBK', 'ignore'))
结果:
姹
说明使用错误的解码方式就会乱码。
如果将汉字使用ISO-8859-1进行编码:
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
# 定义一个unicode的字符串
unichr = u'汉'
# 使用UTF-8编码转换为字节数组
bytechr = unichr.encode('ISO-8859-1')
结果:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'latin-1' codec can't encode character u'\u6c49'
in position 0: ordinal not in range(256)
可以看出,无论是哪个汉字,使用ISO-8859-1都无法进行编码,就是说ISO-8859-1解码,本身是不支持中文字符的。
文章转自:https://blog.csdn.net/qq_42068856/article/details/83792174