字符集详解(学习,看一篇就够了)

最近学习字符集编码,发现很多博文的讲解对初学者很不友善,许多文章繁杂且不易懂,需要阅读了大量文章和查询资料后,才能明白字符集及相关概念,本文致力于一篇文章就可以让初学者对字符集有一个很好的认识,为将来开发项目充实其理论基础,为解决BUG提供思路。

什么是字符集

一、疑惑

相信很多对字符集编码不够了解的程序员经常会出现很多乱码问题,抱有很多疑惑。
比如,为什么会出现乱码?
这里用的是什么字符编码?
创建一个文本它是GBK编码还是UTF-8编码?
(创建文本文件默认使用ANSI,就是系统默认编码方式,中文windows系统默认使用GBK编码方式)
我应该使用GBK编码还是UTF-8编码?
Unicode和UTF-8的区别是什么?
那么看完这篇文章,相信这些问题都可以迎刃而解。

二、基础概念

字节

这个是最基本的概念了,字节是计算存储容量的一种计量单位。我们知道计算机只能识别1和0组成的二进制位。一个数就是1位(bit),为了方便计算,我们规定8位就是一个字节

例如 :00001111 这个8位二进制数就占了一个字节的存储容量。

字符

字符和字节不太一样,任何一个文字或符号都是一个字符,但所占字节不一定,不同的编码导致一个字符所占的内存不同。

例如:标点符号+是一个字符,汉字我们是两个字符,在GBK编码中一个汉字占2个字节,在UTF-8编码中一个汉字占3个字节。

随着时代的发展,程序员们希望在计算机中显示字符,但计算机只能识别0和1的二进制数。于是就有了编码规范。

编码规范

所谓字符集其实是一套编码规范中的子概念,为了显示字符,国际组织就制定了编码规范,希望使用不同的二进制数来表示代表不同的字符,这样电脑就可以根据二进制数来显示其对应的字符。我们通常就称呼其为XX编码,XX字符集。

例如:GBK 编码规范,根据这套编码规范,计算机就可以在中文字符和二进制数之间相互转换。而使用GBK编码就可以使计算机显示中文字符。

接下来为大家介绍一下编码规范里的3个子概念。

1.字库表

一套编码规范不一定包含世界上所有的字符,每套编码规范都有自己的使用场景。而字库表就存储了编码规范中能显示的所有字符,计算机就是根据二进制数从字库表中找到字符然后显示给用户滴,相当于一个存储字符的数据库。

例如:几乎所有汉字都保存在GBK 编码规范的字库表中。所以可以显示汉字,但法语,俄语并不在其字库表中,所以GBK不能显示法语,俄语等不包含在其中的字符。

2.编码字符集(字符集)

我们平时说的字符集就是这个。在一个字库表中,每一个字符都有一个对应的二进制地址,而编码字符集就是这些地址的集合。

例如:在ASCII码的编码字符集中,字母A的序号(地址)是65,65的二进制就是01000001。我们可以说编码字符集就是用来存储这些二进制数的。而这个二进制数就是编码字符集中的一个元素,同时它也是字库表中字母A的地址。我们根据这个地址就可以显示出字母A

结论:字符集和字库表一一对应,相互转换,这是电脑识别字符的关键。

3.字符编码(编码方式)

知道字库表和编码字符集后,我们就可以直接使用二进制地址来得到字符了。

但直接使用字符对应的二进制地址来显示文字是十分浪费的,Unicode 编码规范中包括了几百万个字符,想要包括几百万个不同的字符,起码需要3个字节的容量,为了方便将来扩展,Unicode还保留了更多未使用的空间,最多可以存储4个字节的容量。

因此为了区分每个字符,哪怕是00000000 00000000 00000000 00001111这种其实只占了1个字节的字符,我们也要为他分配4个字节的空间,这就导致一个可以用1G保存的文件,现在需要4G才能保存,这是极其浪费的做法。

于是程序员制定了一套算法来节省空间,而每种不同的算法都被称作一种编码方式(下文中为了便于理解都将使用编码方式来称呼字符编码)。一套编码规范可以有多种不同的编码方式,不同的编码方式有不同的适应场景。

例如:UTF-8就是一种编码方式,Unicode是一种编码规范。此外,Unicode还有UTF-16,UTF-32这两种编码方式。不同的编码方式节约的空间不同。

总结:一个较短的二进制数,通过一种编码方式,转换成编码字符集中正常的地址,然后在字库表中找到一个对应的字符,最终显示给用户。

至此,大家应该能够清楚的知道,什么是字符集了。

三、常见编码规范简单介绍

1.ASCII码

ASCII码,是最早产生的编码规范,一共包含00000000~01111111共128个字符,可以表示阿拉伯数字和大小写英文字母,以及一些简单的符号。可以看出ASCII码只需要1个字节的存储空间,最高位为0。后被称为(American Standard Code for Information Interchange,美国信息交换标准代码)。它没有特定的编码方式,直接使用地址对应的二进制数来表示,非要说那就叫他ASCII 编码方式。

2.GBK

GBK全称《汉字内码扩展规范》,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字。GBK字符集中,中文字符占2个字节,英文占1个字节。 采用单双字节变长编码方式,英文使用单字节编码,完全兼容ASCII字符编码,中文部分采用双字节编码。

3.ISO-8859-1

ISO-8859-1收录的字符除ASCII收录的字符外,还包括西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号。因为ISO-8859-1编码范围使用了单字节内的所有空间,在支持ISO-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之,把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题。这是个很重要的特性,MySQL数据库默认编码是Latin1就是利用了这个特性。ASCII编码是一个7位的容器,ISO-8859-1编码是一个8位的容器。
由此可见,ISO-8859-1只占1个字节,且MySQL数据库默认编码就是ISO-8859-1,有时,tomcat服务器默认也是使用ISO-8859-1编码,然而ISO-8859-1是不支持中文的,有时这就是在浏览器上显示乱码的原因。

4.Unicode

从以上几种编码规范可以看出,各种编码规范互不兼容,且只能表示自己需要的字符,于是,国际标准化组织(ISO)决定制定一套全世界通用的编码规范,这就是Unicode。
Unicode包含了全世界所有的字符。Unicode最多可以保存4个字节容量的字符。也就是说,要区分每个字符,每个字符的地址需要4个字节。这是十分浪费存储空间的,于是,程序员就设计了几种字符编码方式,比如:UTF-8,UTF-16,UTF-32。
最广为程序员使用的就是UTF-8,UTF-8是一种变长字符编码,注意:UTF-8不是编码规范,而是编码方式。我为大家介绍一下UTF-8的编码规则。

编码规则表
Unicode 十六进制码点范围UTF-8 二进制
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

如上表所示,对于只需要1个字节的字符,UTF-8采用ASCII码的编码方式,最高位补0来表示。

例如:01000001我们就是用01000001来表示,对于一个字节的字符,其实就是直接使用地址表示。

而对于n个字节的字符(n>1),即大于一个字节的字符,采用第一个字节前n位补1。第n+1位填0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。

例如:汉字的Unicode码是4E25转换成二进制就是00000000 00000000 01001110 00100101有效位共15位,根据上表可知使用UTF-8字符编码后占3个字节,因此前3位是1,第4位(n+1位)是0,后面两个字节中每个字节的前两位都是10,即1110 xxxx 10 xxxxxx 10xxxxxx。填充进去后就变成了1110 0100 10 111000 10 100101共计24位占3个字节。

由此可见,英文在UTF-8字符编码后只占1个字节,中文占了3个字节。
虽然UTF-8编码没有GBK编码占的空间小,但他胜在面向全世界,至于使用哪一种编码还是取决于具体的使用环境。

四、编码与解码

解码

一串二进制数,使用一种编码方式,转换成字符,这个过程我们称之为解码。就像解开密码一样,程序员可以选用任意的编码方式进行解码,但往往只有一种编码方式可以解开密码显示出正确的文字,而使用错误的编码方式,产生其他不合理的字符,这就是我们通常说的————乱码!

编码

一串已经解码后的字符,我们也可以选用任意类型的编码方式重新转换成一串二进制数,这个过程就是编码,我们也可以称之为加密过程,无论使用哪一种编码方式进行编码,最终都是产生计算机可识别的二进制数,但如果编码规范的字库表不包含目标字符,则无法在字符集中找到对应的二进制数。这将导致不可逆的乱码!例如:像ISO-8859-1的字库表中不包含中文,因此哪怕将中文字符使用ISO-8859-1进行编码,再使用ISO-8859-1进行解码,也无法显示出正确的中文字符。

以上,大家就能明白了,乱码就是编码解码使用的编码方式不一致,或者编码时其字库表中不包含相应字符所导致的结果。

五、代码演示

以java语言为例,我们先将一串中文字符串使用UTF-8 编码方式进行编码变成字节数组,然后将字节数组打印出来。

String chinese="汉";
//使用UTF-8编码方式进行编码。
byte[] bs = chinese.getBytes("UTF-8");
for (byte b : bs) {
	System.out.print(b+" ");
}

结果:

-26 -79 -119

可以看出,1个汉字变成了3个字节,证明了1个汉字在UTF-8 编码方式下占3个字节。

我们继续,将字节数组,使用UTF-8 编码方式进行解码

//使用UTF-8编码方式进行解码。
String utf8 = new String(bs,"UTF-8");
System.out.println(utf8);

结果:

解码后正确的显示了中文字符字。
但如果我们使用GBK进行解码

//使用GBK编码方式进行解码。
String gbk = new String(bs, "GBK");
System.out.println(gbk);

结果:

?

说明使用错误的解码方式就会乱码。

但如果将汉字使用ISO-8859-1进行编码 ,然后解码

String chinese = "我是帅哥";
//使用ISO-8859-1编码方式进行编码。
byte[] bs = chinese.getBytes("ISO-8859-1");
for (byte b : bs) {
	System.out.println(b + " ");
}
//使用ISO-8859-1编码方式进行解码。
String iso = new String(bs, "ISO-8859-1");
System.out.println("\n"+iso);

结果:

63 63 63 63 
????

可以看出,无论是哪个汉字,使用ISO-8859-1编码后,都变成了63。这样一来,计算机彻底无法识别是哪一个字符了。
哪怕再用ISO-8859-1进行解码,也无法正确显示中文字符。
推荐大家看完这篇文章后,自己进行各种试验,对内容进行巩固理解,希望对大家有所帮助。今后还会不断更新新的知识要点。

参考资料

GBK字库

目前只补充了部分参考资料。

对你有帮助吗?点个赞吧~

转载请注明出处:https://blog.csdn.net/qq_42068856/article/details/83792174

  • 155
    点赞
  • 391
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 31
    评论
vc源代码合集0951.rarvc源代码合集0951.rar 2012-06-12 11:54 80,235 (MSDN oct 2001)VC6 适用的最后一个版本[ISO].rar 2012-06-13 09:53 0 1.txt 2012-06-12 11:56 17,755 2011年北航计算机考研复试上机题.rar 2012-06-12 07:14 11,172,336 91算命软件.zip 2012-06-12 11:53 334,303 advanced+windows+debugging+resources.zip 2012-06-12 12:45 1,647,769 ATM - 副本.zip 2012-06-12 11:41 3,468,299 C++how to program源代码.rar 2012-06-12 12:32 405,625 C++中国象棋游戏源代码.rar 2012-06-12 12:56 10,743,192 C++数据图像获取.rar 2012-06-12 11:43 3,861 C++矩阵加法和乘法运算(可运行但未排除BUG).txt 2012-06-12 11:52 2,753 C++词法分析器.txt 2012-06-12 12:44 2,035,571 Clock.rar 2012-06-12 12:44 1,915,984 CZG.rar 2012-06-12 12:22 10,537 C和C++字符串处理函数.txt 2012-06-12 12:21 8,825 c扫描器源码.txt 2012-06-12 12:39 505,110 c语言也能干大事全部板书(带书签)-感谢rupeng.com鹏友的整理.rar 2012-06-12 12:10 183,001 C语言函数大全语法着色版.chm 2012-06-12 12:07 25,088 C语言加密程序.doc 2012-06-12 12:27 13,961 C语言图像函数库详解.txt 2012-06-12 11:54 38,018 C语言图形编程.rar 2012-06-12 12:26 521,167 C语言实现可视化人机界面的有效方法.pdf 2012-06-12 12:23 3,250,257 C语言精髓例子.rar 2012-06-12 11:41 334,336 C语言编程规范-1.0.doc 2012-06-12 12:52 1,960 ddos源代码_c语言实现 VC6.rar 2012-06-12 12:11 366,777 DeviceTree.rar 2012-06-12 12:53 2,127,246 Ethernet帧封装_解析_模拟发送.rar 2012-06-12 12:57 2,722 FFT_C语言.txt 2012-06-12 12:52 572,659 gbk+unicode+汉字编码对照表.rar 2012-06-12 12:31 16,598 GDI简化程序.rar 2012-06-12 12:50 25,088 H.264编码算法的完整源代码二.doc 2012-06-12 12:51 3,074,435 H264帧内预测算法的研究与优化.pdf 2012-06-12 12:49 1,629,393 H264流媒体RTP打包源代码和相关资料.rar 2012-06-12 12:26 397 HEXtoTXT.TXT 2012-06-12 12:23 11,439,766 iccvar C编译器.rar 2012-06-12 13:04 56,110 InfInstall.rar 2012-06-12 11:56 17,999 IPHelper.rar 2012-06-12 11:58 942,551 JEPG图像中数字的识.rar 2012-06-12 11:59 19,418 Lucas定理--组合数求摸.docx 2012-06-12 12:51 1,826,942 md5加密算法源代码.rar 2012-06-12 11:48 79,221 MFC音乐播放器(滑块控制音量).zip 2012-06-12 13:01 74,769 MyQQ-VC开发的局域网通信程序.rar 2012-06-12 12:18 1,154 N个数中1的个数.txt 2012-06-12 12:03 176,988 ODBCApiDataManager.rar 2012-06-12 11:50 54,935 PlayWithDataStructureSourceCode.zip 2012-06-12 13:00 23,174 random.rar 2012-06-12 12:27 138,307 RGB各种颜色对照表.pdf 2012-06-12 11:43 86,759 Socket编程例子_MFC_SDK.rar 2012-06-12 12:01 45,155 SpyXX.rar 2012-06-12 11:47 5,121,939 Unix源代码.rar 2012-06-12 07:10 2,678,026 VC++6.0.rar 2012-06-12 11:58 2,458,686 vc++avi媒体播放器 保存所需窗口bmp.zip 2012-06-12 11:55 3,721,136 VC++动态链接库(dll)编程深入浅出.rar 2012-06-12 13:02 23,185 VC++图像平滑处理+程序.rar 2012-06-12 12:12 45,056 VC++操作INI配置文件的实现.doc 2012-06-12 11:48 11,728,284 VC++数字图像模式识别技术及工程实践.pdf 2012-06-12 12:58 1,863,715 VC++设置和获得一组单选按钮的选中状态.rar 2012-06-12 12:52 565,945 VCHOME图形图像编程技术篇.chm 2012-06-12 11:59 34,816 VC__T的用途.doc 2012-06-12 11:45 4,438,581 VC坦克大战带地图编辑器.rar 2012-06-12 13:09 7,108,412 VC数据库编程技术与实例.ISO.part 2012-06-13 09:46 199,929,772 vc源代码合集0951.rar 2012-06-12 11:47 46,602 vector使用方法.doc 2012-06-12 13:04 959,370 VirtualNES.rar 2012-06-12 12:49 8,323,796 Visual C++实现图像获取、处理与分析.rar 2012-06-12 12:49 6,275,839 Visual C++实现数字图像处理源代码.rar 2012-06-12 11:57 182 Visual C++技术内幕摘要笔记.rar 2012-06-12 11:50 3,620,678 visual c++网络通信编程实用案例精选(源代码).rar 2012-06-12 12:23 3,982,016 Visual_C++网络编程经典案例详解PPT.rar 2012-06-12 12:26 428,875 Visual_Studio_2008_入门教程.pdf 2012-06-12 11:47 56,320 VOIP语音数据实际码率 .doc 2012-06-12 12:10 71,680 vs2010安装msdn.doc 2012-06-12 12:00 970,347 WebServer源代码.rar 2012-06-12 12:31 157,391 windiff_src.zip 2012-06-12 12:44 12,282,377 Windows2000设备驱动程序设计指南.pdf 2012-06-12 12:43 1,155,676 Windows2000驱动程序设计指南.rar 2012-06-12 12:51 540,654 winsock.zip 2012-06-12 12:45 7,417,271 YY.rar 2012-06-12 12:21 1,267 [自毁程序]源代码.txt 2012-06-12 12:25 1,826,678 《Keil Software –Cx51 编译器用户手册 中文完整版》(403页).pdf 2012-06-12 12:58 24,097 《黑客攻击手段之偷梁换柱》配套源代码.zip 2012-06-12 11:53 237 【Visual C++】18.简单的愤怒小鸟弹球demo无删减版.rar 2012-06-12 12:22 2,615 【乱码加密】源代码.txt 2012-06-12 12:06 228,818 一个简单的学生成绩管理系统.rar 2012-06-12 12:47 2,916 中缀表达式转后缀表达式代码(数据结构C++).rar 2012-06-12 11:57 6,246,172 串口助手源码.7z 2012-06-12 11:55 9,382 免疫算法源代码.txt 2012-06-12 13:02 318,455 再再论指针.pdf 2012-06-12 12:54 183,362 写一个图形界面的操作系统.rar 2012-06-12 11:51 49,152 列主元消去法.doc 2012-06-12 12:20 524 判断质数.dsw 2012-06-12 12:12 1,987,273 单词拼写检查器.rar 2012-06-12 11:40 2,477,013 双人配合俄罗斯方块beta版(源码).rar 2012-06-12 11:57 5,633,867 双向循环链表.rar 2012-06-12 12:44 140,600 双缓冲技术.rar 2012-06-12 12:07 86,668 基于CStatic波形显示控件.rar 2012-06-12 12:22 33,669 太极.zip 2012-06-12 12:06 346,073 安装文件注册表提取工具.zip 2012-06-12 11:48 159,232 对象作为函数参数.doc 2012-06-12 12:20 564 将三个数按从大到小的顺序排序.dsw 2012-06-12 11:48 118,272 建立一个学生信息链表.doc 2012-06-12 11:47 106,496 按照类层次编写程序.doc 2012-06-12 12:21 513 明码序列号保护的实现.txt 2012-06-12 11:51 103,936 最大堆实现排序(从大到小输出).doc 2012-06-12 11:51 240,128 最小生成树(prim算法)贪心算法.doc 2012-06-12 12:26 772,419 最简单的c++静态链接.zip 2012-06-12 11:45 202,240 最长公共子序列算法.doc 2012-06-12 12:24 956 步进电机C程序.c 2012-06-12 12:20 377 求三个数中的最大者和最小者.c 2012-06-12 12:03 411,683 注册表编程应用实例.pdf 2012-06-12 13:03 260,549 用C和汇编写的Dos操作系统的源码.rar 2012-06-12 11:43 34,816 用sql实现查询重复记录的代码.doc 2012-06-12 13:05 41,472 用VC++实现USB接口读写数据的程序.doc 2012-06-12 12:22 3,939 用邻接矩阵表示的图的深度优先搜索和广度优先搜索.txt 2012-06-12 11:43 1,845,250 界面美化Prof-UIS.rar 2012-06-12 11:45 440,342 着名的CDX游戏开发工具.zip 2012-06-12 12:19 91,035 离散余弦正逆变换+CODE.pdf 2012-06-12 11:58 3,261 笔记识别.rar 2012-06-12 11:46 1,579,321 简单远程备份(V1.0).rar 2012-06-12 12:21 23,476 编程求主范式.rar 2012-06-12 12:17 65,536 编译原理词法分析.doc 2012-06-12 11:50 220 能提高你的效率的十个Visual Studio使用技巧.rar 2012-06-12 06:34 11,131,920 自动加群软件.zip 2012-06-12 11:47 240,640 虚基类的使用实例.doc 2012-06-12 12:15 1,660,959 虚拟桌面.rar 2012-06-12 07:09 7,654,095 计算机等级考试C语言上机软件_VC++6.0中文版.zip 2012-06-12 12:17 2,126 语法分析器(C语言).cpp 2012-06-12 11:41 6,934,136 边缘检测.zip 2012-06-12 11:55 12,915 运算符重载实例.docx 2012-06-12 11:46 4,995,615 运行程序.rar 2012-06-12 12:24 36,864 选择排序和冒泡排序的C++和C的实现(总结).doc 2012-06-12 11:56 6,100 遗传算法源代码.txt 2012-06-12 06:41 1,720,354 飞秋FeiQ.rar 2012-06-12 06:48 6,015,720 黄金屋-文件排重软件V2.00.rar

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 31
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笑我归无处

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值