全网最全面、全详细的编码、解码知识

最新推荐文章于 2024-04-26 12:20:58 发布
最新推荐文章于 2024-04-26 12:20:58 发布
阅读量1.2k 收藏 20
点赞数 12
分类专栏： 程序员 文章标签： php 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42179304/article/details/137409828
版权

计算机的世界中,它只能懂得0和1(即二进制),但是,我们交流的时候是通过字符进行交流,所以,如果想要计算机了解我们想表达的东西,以及我们想了解计算机想表达的东西,就需要在字符和0与1之间进行转换,也就是: 编码和解码

编码和解码

就编码和解码而言,针对的是我们(即在计算机中闯荡的人),这样就不会混淆这两个概念。

编码: 将字符按照对应的编码类型转换成计算机能够识别的0或者1(类似于生活中的：将中文翻译成英文的翻译官)

解码: 将0和1根据对应的解码类型转换成我们能够读懂的字符(类似于生活中的: 将英文翻译成中文的翻译官)

常见的字符集

ASCII、GB2312、Unicode、GBK等

(一)ASCII字符集和ASCII编码

ASCII字符集: 全称《美国信息交换标准代码》,主要用于显示现代英语和其它西欧语言,主要包括:可显示字符（英文字母、阿拉伯数值、标点符号)、以及控制字符(回车、换行、退格等特殊字符)。

ASCII编码: 美国定制的交换标准,目的是将ASCII字符集包含的字符转换成计算机能够识别的二进制(0和1),它是最通用的信息交换标准,到目前为止总共定义了128个字符。

ASCII编码缺点: 只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）,而且对其他的语言支持力度也不大,所以现在苹果也使用Unicode替换ASCII。

(二)GBXXXX字符集

(1) GB2312字符集:

  • 全称:《信息交换用汉字编码字符集》,刚开始ASCII字符集只包含了阿拉伯数字、字母和一些特殊符号,这个编码只适用于美国和西方的一些国家,而不适用于使用汉字的国家,为了使用汉字的国家也能够和计算机进行沟通,中国国家标准总局发布了标准号为:GB2312的编码格式,它适用于汉字处理、汉字通信等系统之间的信息交换,除了中国大陆使用外,新加坡等地也采用此编码。

  • GB2312字符集共收录了6763个简体汉字,它的收录包括了拉丁字母、日文平假名等在内的682个全角字符,GB2312编码可以将GB2312字符集包含的字符转换成计算机能够识别的二进制0和1。

(2)GBK字符集

  • 全称:《汉字内码扩展规范》,因为GB2312字符集编码只支持简体汉字和一些特殊符号,繁体字和一个特殊简体字都没有收录其中,所以微软针对GB2312做了拓展,在GBK字符集中收录了繁体字,并最早在Window95简体中文版使用。

  • GBK拓展了GB2312字符集,共收录了两万多个文字,GBK编码可以将GBK字符集收录的字符转换成计算机能够识别的二进制0和1。

(3)GB18030字符集

  • 全称: 国家标准GB 18030-2005《信息技术 中文编码字符集》，因为GBK是由微软首先制定的,并不属于国家标准,所以国家为了兼容GBK字符集制定了GB18030字符集,它是中华人民共和国现时最新的内码字集,除了兼容GBK字符集外,还支持GB 13000及Unicode字符集的全部统一汉字。

  • GB 18030字符集共收录汉字七万多个,并且存储方式采用的是可变长字节编码,每个字可以由1个、2个或4个字节组成。

(二)Unicode字符集

  • Unicode字符集的出现: 当计算机出现在全球各地时,为了与计算机进行交流,指定了各种各样的标准如GB232/GBK/GB18030/BIG5的编码方案,如果只在符合对应标准的地区使用则完全没有问题,但是如果通过网络与其他的地区进行交流时,因为各地的编码的标准都不一样,就会在转换中出现"乱码"现象,为了解决这个问题,Unicode字符集应运而生。

  • Unicode也称为: 统一码/万国码/单一码,它是业界的一种标准,通过它计算机可以实现世界上不同地区数十种文字的显示,2005年Unicode就已经收录了超过十万个字符,现在由Unicode组织进行管理运作。

  • Unicode编码系统为表达任意语言的任意字符而设计,它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

  • Unicode编码标准现在有三种具体实现,分别是:UTF-8、UTF-16、UTF-32。

(1) UTF-8字符编码:

  • 它是实现了Unicode编码方案的一种可变长字符编码(定长码)，也是一种前缀码。

  • 它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部份修改，即可继续使用。

  • UTF-8已经逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。

  • 互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。

  • UTF-8编码使用一至四个字节为每个字符编码(其中ASCII字符集中的128个字符只占1字节,还有附加符文的拉丁文、希腊文等需要2个字节,其他常用的文字占用3个字节,还有极少数的字符占用4个字节)。

(2) UTF-16字符编码:

  • 它是实现了Unicode编码方案的一种可变长字符编码(定长码)

  • 因为Unicode字符集中收录了很多字符,但是常用的一般不会超过65535个以外的字符,所以出现了UTF-16(2字节=16位)。

  • UTF-16优点: 它在空间效率上比UTF-32高两倍，因为每个字符只需要2个字节来存储（除去65535范围以外的），而不是UTF-32中的4个字节。

  • UTF-16缺点: 不兼容ASCII。

(3) UTF-32字符编码:

  • 它是实现了Unicode方案的一种定长字符编码。

  • 它使用4个字节的数字来表示每个字母、符号，或者表意文字(ideograph)。

  • 优缺点: 使用4个字节存储每个字符,效率高,处理速度快(因为不用计算需要几个字节进行存储),但是浪费空间。

四:举例说明编码与解码的过程
四:举例说明编码与解码的过程

通过上面的基础规则学习,我们已经对字符集、编码、解码等基础知识有了基本的认识。现在我们就通过图形化来举一个例子更加形象理解的这些知识(以:ASCII字符集为准,用我们编程入门的最常见的字符串:hello world为例子)

编码: 在屏幕输入文字 -> 根据指定编码类型 -> 将输入的文字编码成计算机能够识别的二进制数 -> 计算机存储编辑成的二进制数值

在这里插入图片描述

解码: 计算机读取存储的二进制数值 -> 根据指定的解码类型解码 -> 将二进制数值解码成字符集中表达的字符 -> 在屏幕显示

在这里插入图片描述

五:乱码出现的原因
五:乱码出现的原因

通过上面的例子,我们能够更加清楚编码和解码的过程。同时,也看出了乱码出现的原因:

  • 编码过程和解码过程使用的编码方式不一致

在这里插入图片描述

  • 编码/解码对应的字符集不存在对应的字符

在这里插入图片描述

六:解决乱码
六:解决乱码

知道出现乱码的两个原因,要解决乱码就要同时满足以下两个条件:

1. 编码过程和解码过程使用同一种编码方式

  1. 使用支持需要编码解码的字符串对应的字符集

在这里插入图片描述

七:经常遇到的乱码场景与解决
七:经常遇到的乱码场景与解决
一:IDEA工具出现乱码

File -> setting -> 输入File encoding -> 设置成对应的字符集

在这里插入图片描述

二:Mysql数据库乱码和编码设置

通过控制台登录到mysql后。

  • 查询当前默认的数据库编码方式:

show variables like ‘character_set%’

在这里插入图片描述

  • 设置数据库编码方式

//当前会话,退出控制台后又恢复回原来默认的编码方式

set character_set_server=utf8;

set character_set_database=utf8;

//全集范围,无论是否退出控制台,以后都是使用这个编码方式

set global character_set_database=utf8;
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

img

最后

做任何事情都要用心，要非常关注细节。看起来不起眼的、繁琐的工作做透了会有意想不到的价值。
当然要想成为一个技术大牛也需要一定的思想格局，思想决定未来你要往哪个方向去走, 建议多看一些人生规划方面的书籍,多学习名人的思想格局，未来你的路会走的更远。

更多的技术点思维导图我已经做了一个整理，涵盖了当下互联网最流行99%的技术点，在这里我将这份导图分享出来，以及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务**

[外链图片转存中…(img-WVFlV7zx-1712323364674)]

[外链图片转存中…(img-WkQP8xe0-1712323364674)]

[外链图片转存中…(img-pgi0pfTQ-1712323364675)]

[外链图片转存中…(img-VxwSaicK-1712323364675)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！

weixin_Vip1104z
关注
  • 12
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
短信UCS编码或解码工具
12-30
UCS（Universal Character Set，通用字符集）是一种广泛使用的字符编码标准，它包含了全世界大部分语言的字符。UCS编码在短信领域的应用主要是通过其子集UCS2，这是一种16位的编码方式，能够表示大量的Unicode字符。...
tlv的java编码和解码
12-25
本文将详细讲解如何在Java环境中实现TLV的编码与解码，并结合提供的`ber-tlv`资源进行分析。 TLV结构简单明了，由三个部分组成： 1. **Tag**：标识数据的类型或者含义，通常是一个整数。 2. **Length**：表示Value...
灵锐用户密码管理密码安全密码USBTRACE数据解码工具
11-17
用于解密灵锐加密狗用户密码管理密码安全密码的小工具
汉字的编码|ASCII|GBK|Unicode|UTF-8详解
热门推荐
白帽阿叁的博客
08-14 1万+
字符集：是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符编码：在符号集合与二进制之间建立对应关系常用的字符集：ASCII字符集、GB2312字符集、BIG5字符集、GBK字符集、GB18030字符集、Unicode字符集等。
各种编码详解
最新发布
qq_41184334的博客
04-26 757
已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。
关于字符编码，你所需要知道的
qiuyepiaoling的专栏
07-12 1378
<br />字符编码的问题看似很小，经常被技术人员忽视，但是很容易导致一些莫名其妙的问题。这里总结了一下字符编码的一些普及性的知识，希望对大家有所帮助。还是得从ASCII码说起<br /> <br />说到字符编码，不得不说ASCII码的简史。计算机一开始发明的时候是用来解决数字计算的问题，后来人们发现，计算机还可以做更多的事，例如文本处理。但由于计算机只识“数”，因此人们必须告诉计算机哪个数字来代表哪个特定字符，例如65代表字母‘A’，66代表字母‘B’，以此类推。但是计算机之间字符-数字的对应关系必须得
【编码、解码】常见密码的编码
人若无名，便可专心练剑
04-08 2581
就是把要加密的明文分成N个一组，然后把每组的第1个字符组合，每组第2个字符组合…每组的第N(最后一个分组可能不足N个)个字符组合，最后把他们全部连接起来就是密文，这里以。**密文：**Teucbonojmsvrhlzdghqikrwfxupoeteayo。编码，在线转文本后为flag{ok-ctf-1234-admin}这个为brainfuck，在线解码网站解码即可。3.每个字符间短的停顿（在点和划之间的停顿）第三部分是：扩展ASCII打印字符。第二部分是：ASCII打印字符；4.每个词之间中等的停顿。
编解码技术
weixin_42574365的博客
08-08 543
1.Java的编解码技术含义 将java对象编码为字节数组写入文件，或用于网络传输，在读取文件或者接受数据的时候，将其再解码为java对象。 从而引出Java进行编解码的目的： 网络传输 对象持久化 java的序列化（实现Serializable接口）是java编解码技术中的一种实现方式。java序列化技术有以下缺陷： java序列化技术使用内部私有协议，无法跨语言 序列化后的字节码数组太大； 序列化的性能太低，耗时长； 因此，远程服务调用（RPC）不直接使用java原生序列化技术。也正是因为这些原
常见编码解码助手 52专版.zip
03-27
常见编码解码助手是一款强大的编码解码器，编程中常见的编码类型都可以用这款工具，支持的编码类型包括ASCII转义、UTF-8转义，并支持URL转义、HTML转义等功能，同样也可以进行加码，可满足用户的多种编码和解码需求...
4_卷积码编码解码_
10-04
说明了卷积编解码的工作原理。用Simulink仿真卷积编码，并用Viterbi译码的方法进行解码，其中的编解码全部自己编写代码(S-Function方式)，在加性白高斯噪声信道中，画出比特信噪比与误码率的关系曲线
算术编码解码C++实现
12-09
算术编码C++实现，概率自适应方法进行算术编码和解码
计算机编码与解码&编码表
杀神lwz的博客
09-04 2769
电脑是由电路板组成，电路板里面集成了无数的电阻和电容，交流电经过电容的时候，电压比较低，记为，用0表示，交流电流过电阻的时候，电压比较高，记为，用1来表示；所以每一个1和0在计算机中被称为，也就是。然而，如果使用一个位来表示计算机中的最小存储单元，那么这个存储单元只能存储0或者1，存储的范围太小了，所以我们规定用8个bit为一组来表示计算机的最小存储单元。8个位每个位上能存储0或者1，则byte的存储范围则是00000000-11111111（换算成整数即0-255），这个最小存储单元就是byte字节。
解码方式
Tlwhisper的博客
04-21 868
文章目录1、描述2、关键字3、思路4、notes5、复杂度6、code 1、描述 一条包含字母 A-Z 的消息通过以下映射进行了 编码 ： ‘A’ -> 1 ‘B’ -> 2 … ‘Z’ -> 26 要 解码 已编码的消息，所有数字必须基于上述映射的方法，反向映射回字母（可能有多种方法）。例如，“11106” 可以映射为： “AAJF” ，将消息分组为 (1 1 10 6) “KJF” ，将消息分组为 (11 10 6) 注意，消息不能分组为 (1 11 06) ，因为 “06” 不能映
H.264/AVC视频编解码技术详解
07-29
H.264/AVC是目前业界应用为广泛的视频压缩编码标准，包含了先进而且较为成熟的视频编码技术。本课程将从原理、标准和实现等多个角度，详细讲述了H.264/AVC视频编码标准的整体架构与技术细节，不但讲解了H.264/AVC标准协议文档中的内容，还通过实际的H.264码流分析/解码程序的开发来帮助观众更深入地理解H.264编码标准的原理。
编码和解码
joeyin
03-15 1737
概述 编码器操作出站数据，而解码器处理入站数据。编码器是将消息转换为适合于传输的格式，而对应的解码器则是将网络字节流转换回应用程序的消息格式。 解码器 将字节解码为消息：ByteToMessageDecoder、ReplayingDecoder 将一种消息类型解码为另外一种：MessageToMessageDecoder 因为解码器是负责将入站数据从一种格式转换到另外一种格式，所以Netty的解码器实现了ChannelInboundHandler。每当需要为ChannelPipeline中的下一个C
计算机常识之编码解码字符集
幻想波普星
09-12 231
编码就是将字符映射成二进制，解码是将二进制映射到字符 字符集包括以下几种： ASCII字符集：共收录128个字符，所以使用1个字节来进行编码 **ISO 8859-1 **字符集，共收录256个字符，是在ASCII字符集的基础上又扩充了128个西欧常用字符 GB2312字符集 收录了汉字以及拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母。其中收录汉字6763个，其他文字符号682个。同...
JAVA总结(二)：字符的编码与解码
甘焕的博客
08-09 1314
中文字符出现乱码的原因是因为采用了错误的解码方式，换句话说，也就是没有采用与字符编码一致的方式进行解码。那如何将乱码字符还原呢？需要分为以下几步： 1. 将当前的乱码字符以当前解码的方式编码为二进制数组，这也是还原过程； 2. 然后以正确的方式（即原编码方式）进行解码；下面以接收到的乱码字符“鍥介檯绫冲叞”为例，再次讲解还原过程。 1. 首先获取当前乱码字符的解码方式；# 获取默认的字符编
matlab实现AMI编码解码全过程
04-06
AMI（Alternate Mark Inversion）编码是一种常用的数字信号编码方式，用于在传输过程中将数字信号转换为模拟信号。下面是MATLAB实现AMI编码解码的全过程： 1. AMI编码： - 首先，将待编码的数字信号转换为二进制序列。 - 对于二进制序列中的每个位，如果是0，则输出0；如果是1，则交替输出+1和-1。 - 交替输出的+1和-1称为极性。 2. AMI解码： - 首先，接收到经过传输的AMI编码信号。 - 对于接收到的信号，根据极性进行解码。 - 如果接收到的信号为0，则输出0；如果接收到的信号为+1或-1，则输出1。 MATLAB代码示例： ```matlab % AMI编码 binary_sequence = [1 0 1 1 0 1]; % 待编码的二进制序列 ami_sequence = zeros(1, length(binary_sequence)); % 初始化AMI编码序列 polarity = 1; % 极性初始化为+1 for i = 1:length(binary_sequence) if binary_sequence(i) == 0 ami_sequence(i) = 0; else ami_sequence(i) = polarity; polarity = -polarity; % 极性交替变换 end end disp("AMI编码序列："); disp(ami_sequence); % AMI解码 decoded_sequence = zeros(1, length(ami_sequence)); % 初始化解码序列 for i = 1:length(ami_sequence) if ami_sequence(i) == 0 decoded_sequence(i) = 0; else decoded_sequence(i) = 1; end end disp("AMI解码序列："); disp(decoded_sequence); ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值