全网最全面、全详细的编码、解码知识！！！

最新推荐文章于 2024-11-14 21:05:44 发布

2401_83915450

最新推荐文章于 2024-11-14 21:05:44 发布

阅读量840

点赞数 27

分类专栏：程序员文章标签： android

本文链接：https://blog.csdn.net/2401_83915450/article/details/137409840

版权

程序员专栏收录该内容

558 篇文章 0 订阅

订阅专栏

二:Mysql数据库乱码和编码设置
八:参考和感谢
九:总结

温馨提示: 本文大约6500字,阅读完大概需要3-5分钟,希望您能耐心看完,倘若你对该知识点已经比较熟悉,你可以直接通过目录跳转到你感兴趣的地方,希望阅读本文能够对您有所帮助,如果阅读过程中有什么好的建议、看法,欢迎在文章下方留言或者私信我,您的意见对我非常宝贵,再次感谢你阅读本文。

一: 编码江湖之初恩怨

在编码的江湖中，"乱码"算得上我们遇到的最难缠的"敌人"之一,一旦遇上、轻则心情烦躁、重则心态崩溃。文章开头，让我们再次重温与"乱码"初见面的名场面。

String str = “乱码,你好”;

byte[] bytes = str.getBytes(“GBK”);

String string = new String(bytes,“UTF-8”);

System.out.println(string);

运行结果:

在这里插入图片描述

是不是感觉很熟悉,这个是出现乱码最简单的例子,虽然在编程时我们肯定不会这样写,但是,乱码出现的原因都是相通的,想要知道为什么?那就继续我们的"乱码"江湖的闯荡吧。

二: 编码江湖之"乱码"家族

想要从根本上铲除"乱码"这个敌人,我们就必须对它的生命历程有清楚的认识,正所谓:“知己知彼,才能百战不殆”。

(一)“乱码"产生的原因:

在编码江湖中,我们想要生存下来,首先得懂得这个江湖的规则,计算机就是我们闯荡的编码江湖,但是,计算机的规则约定: 它们只能够读懂二进制数0和1,我们能够表达的确实对应的字符,为了在编码程序中生存下来,我们需要一种技术能够将我们表达的字符转换成对应计算机能够读懂的二进制数0和1,这种技术就叫编码,但是,因为闯荡这者的不同,所表达的字符就存在差异,所以针对不同的闯荡地区,存在不同的编码,如果不是同一个地区使用了其他地区的编码方式进行转换,就会出现"乱码”,计算机就会看不懂。

三: 江湖规则之基础知识

想要在计算机世界行走江湖,就必须对这个世界的基础概念有个清晰的认识,下面就讲解关于计算机世界的基础知识讲解:

Bit(位)

计算机世界的最小存储单位,也是计算机能够读懂的,可取的值是0或1,每个值就标识1位,如:0000 0001表示的就是8位,转换成我们认识的数值(十进制)就是1。

Byte(字节)

计算机世界中的一种表示存储容量的单位,1Byte = 8Bit,即一个字节可以存储8位,除了Byte外,计算机还有以下常用的存储容量单位以及他们之间的转换关系:

1Byte = 8bit

1KB(KByte) = 1024Byte = (1024 * 8)bit

1MB(MByte) = 1024KB =(1024 * 1024)Byte = (1024 * 1024 * 8)bit

1GB = 1024MB = (1024 * 1024)KB =(1024 * 1024 * 1024)Byte = (1024 * 1024 * 8)bit

1T = 1024GB = (1024 * 1024)MB = (1024 * 1024 * 1024)KB =(1024 * 1024 * 1024 * 1024)Byte = (1024 * 1024 * 1024 * 8)bit

字符

字符也就是我们在计算机表达的"语言"，常见的包括:数值、字母、文字和符号,如:1、a、A、试、$…都表示的是一个字符,在计算机世界中,不同的字符可能需要不同的存储容量进行存储。

字符集

集:表示集合,字符集则表示多个字符的集合,每个字符集可以包括不同的字符,常见的字符集如下:

ASCII字符集

GB2312字符集

Unicode字符集

字符编码

定义: 将字符集中的字符编码(映射)成集合中的某一个对象如:比特模式、自然数序列、电脉冲等,以方便字符在计算机中存储和在计算机网络中传递

字符集与字符编码的区别

字符集表示:多个字符的集合,字符编码则是:将字符集中的字符映射为特定的字节或者字节序列,它表示的是一种规则。通常特定的字符集采用特定的编码方式（即一种字符集对应一种字符编码,如: ASCII、ISO-8859-1、GB2312、GBK都是表示了字符集又表示了对应的字符编码,但Unicode字符集是特例,它对应的字符编码有:UTF-8、UTF-16、UTF-32）

查看电脑默认的字符编码

1、打开控制台(win+R),输入cmd回车

2、右键菜单栏选择属性

3、当前代码页就是对应的字符集编码

在这里插入图片描述

编码和解码的由来

计算机的世界中,它只能懂得0和1(即二进制),但是,我们交流的时候是通过字符进行交流,所以,如果想要计算机了解我们想表达的东西,以及我们想了解计算机想表达的东西,就需要在字符和0与1之间进行转换,也就是: 编码和解码

编码和解码

就编码和解码而言,针对的是我们(即在计算机中闯荡的人),这样就不会混淆这两个概念。

编码: 将字符按照对应的编码类型转换成计算机能够识别的0或者1(类似于生活中的：将中文翻译成英文的翻译官)

解码: 将0和1根据对应的解码类型转换成我们能够读懂的字符(类似于生活中的: 将英文翻译成中文的翻译官)

常见的字符集

ASCII、GB2312、Unicode、GBK等

(一)ASCII字符集和ASCII编码

ASCII字符集: 全称《美国信息交换标准代码》,主要用于显示现代英语和其它西欧语言,主要包括:可显示字符（英文字母、阿拉伯数值、标点符号)、以及控制字符(回车、换行、退格等特殊字符)。

ASCII编码: 美国定制的交换标准,目的是将ASCII字符集包含的字符转换成计算机能够识别的二进制(0和1),它是最通用的信息交换标准,到目前为止总共定义了128个字符。

ASCII编码缺点: 只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）,而且对其他的语言支持力度也不大,所以现在苹果也使用Unicode替换ASCII。

(二)GBXXXX字符集

(1) GB2312字符集:

全称:《信息交换用汉字编码字符集》,刚开始ASCII字符集只包含了阿拉伯数字、字母和一些特殊符号,这个编码只适用于美国和西方的一些国家,而不适用于使用汉字的国家,为了使用汉字的国家也能够和计算机进行沟通,中国国家标准总局发布了标准号为:GB2312的编码格式,它适用于汉字处理、汉字通信等系统之间的信息交换,除了中国大陆使用外,新加坡等地也采用此编码。
GB2312字符集共收录了6763个简体汉字,它的收录包括了拉丁字母、日文平假名等在内的682个全角字符,GB2312编码可以将GB2312字符集包含的字符转换成计算机能够识别的二进制0和1。

(2)GBK字符集

全称:《汉字内码扩展规范》,因为GB2312字符集编码只支持简体汉字和一些特殊符号,繁体字和一个特殊简体字都没有收录其中,所以微软针对GB2312做了拓展,在GBK字符集中收录了繁体字,并最早在Window95简体中文版使用。
GBK拓展了GB2312字符集,共收录了两万多个文字,GBK编码可以将GBK字符集收录的字符转换成计算机能够识别的二进制0和1。

(3)GB18030字符集

全称: 国家标准GB 18030-2005《信息技术中文编码字符集》，因为GBK是由微软首先制定的,并不属于国家标准,所以国家为了兼容GBK字符集制定了GB18030字符集,它是中华人民共和国现时最新的内码字集,除了兼容GBK字符集外,还支持GB 13000及Unicode字符集的全部统一汉字。
GB 18030字符集共收录汉字七万多个,并且存储方式采用的是可变长字节编码,每个字可以由1个、2个或4个字节组成。

(二)Unicode字符集

Unicode字符集的出现: 当计算机出现在全球各地时,为了与计算机进行交流,指定了各种各样的标准如GB232/GBK/GB18030/BIG5的编码方案,如果只在符合对应标准的地区使用则完全没有问题,但是如果通过网络与其他的地区进行交流时,因为各地的编码的标准都不一样,就会在转换中出现"乱码"现象,为了解决这个问题,Unicode字符集应运而生。
Unicode也称为: 统一码/万国码/单一码,它是业界的一种标准,通过它计算机可以实现世界上不同地区数十种文字的显示,2005年Unicode就已经收录了超过十万个字符,现在由Unicode组织进行管理运作。
Unicode编码系统为表达任意语言的任意字符而设计,它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。
Unicode编码标准现在有三种具体实现,分别是:UTF-8、UTF-16、UTF-32。

(1) UTF-8字符编码:

它是实现了Unicode编码方案的一种可变长字符编码(定长码)，也是一种前缀码。
它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部份修改，即可继续使用。
UTF-8已经逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。
互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。
UTF-8编码使用一至四个字节为每个字符编码(其中ASCII字符集中的128个字符只占1字节,还有附加符文的拉丁文、希腊文等需要2个字节,其他常用的文字占用3个字节,还有极少数的字符占用4个字节)。

(2) UTF-16字符编码: