全网最全面、全详细的编码、解码知识

最新推荐文章于 2024-04-26 12:20:58 发布
最新推荐文章于 2024-04-26 12:20:58 发布
阅读量1.1k 收藏 20
点赞数 12
分类专栏： 程序员 文章标签： php 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42179304/article/details/137409828
版权

计算机的世界中,它只能懂得0和1(即二进制),但是,我们交流的时候是通过字符进行交流,所以,如果想要计算机了解我们想表达的东西,以及我们想了解计算机想表达的东西,就需要在字符和0与1之间进行转换,也就是: 编码和解码

编码和解码

就编码和解码而言,针对的是我们(即在计算机中闯荡的人),这样就不会混淆这两个概念。

编码: 将字符按照对应的编码类型转换成计算机能够识别的0或者1(类似于生活中的：将中文翻译成英文的翻译官)

解码: 将0和1根据对应的解码类型转换成我们能够读懂的字符(类似于生活中的: 将英文翻译成中文的翻译官)

常见的字符集

ASCII、GB2312、Unicode、GBK等

(一)ASCII字符集和ASCII编码

ASCII字符集: 全称《美国信息交换标准代码》,主要用于显示现代英语和其它西欧语言,主要包括:可显示字符（英文字母、阿拉伯数值、标点符号)、以及控制字符(回车、换行、退格等特殊字符)。

ASCII编码: 美国定制的交换标准,目的是将ASCII字符集包含的字符转换成计算机能够识别的二进制(0和1),它是最通用的信息交换标准,到目前为止总共定义了128个字符。

ASCII编码缺点: 只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）,而且对其他的语言支持力度也不大,所以现在苹果也使用Unicode替换ASCII。

(二)GBXXXX字符集

(1) GB2312字符集:

  • 全称:《信息交换用汉字编码字符集》,刚开始ASCII字符集只包含了阿拉伯数字、字母和一些特殊符号,这个编码只适用于美国和西方的一些国家,而不适用于使用汉字的国家,为了使用汉字的国家也能够和计算机进行沟通,中国国家标准总局发布了标准号为:GB2312的编码格式,它适用于汉字处理、汉字通信等系统之间的信息交换,除了中国大陆使用外,新加坡等地也采用此编码。

  • GB2312字符集共收录了6763个简体汉字,它的收录包括了拉丁字母、日文平假名等在内的682个全角字符,GB2312编码可以将GB2312字符集包含的字符转换成计算机能够识别的二进制0和1。

(2)GBK字符集

  • 全称:《汉字内码扩展规范》,因为GB2312字符集编码只支持简体汉字和一些特殊符号,繁体字和一个特殊简体字都没有收录其中,所以微软针对GB2312做了拓展,在GBK字符集中收录了繁体字,并最早在Window95简体中文版使用。

  • GBK拓展了GB2312字符集,共收录了两万多个文字,GBK编码可以将GBK字符集收录的字符转换成计算机能够识别的二进制0和1。

(3)GB18030字符集

  • 全称: 国家标准GB 18030-2005《信息技术 中文编码字符集》，因为GBK是由微软首先制定的,并不属于国家标准,所以国家为了兼容GBK字符集制定了GB18030字符集,它是中华人民共和国现时最新的内码字集,除了兼容GBK字符集外,还支持GB 13000及Unicode字符集的全部统一汉字。

  • GB 18030字符集共收录汉字七万多个,并且存储方式采用的是可变长字节编码,每个字可以由1个、2个或4个字节组成。

(二)Unicode字符集

  • Unicode字符集的出现: 当计算机出现在全球各地时,为了与计算机进行交流,指定了各种各样的标准如GB232/GBK/GB18030/BIG5的编码方案,如果只在符合对应标准的地区使用则完全没有问题,但是如果通过网络与其他的地区进行交流时,因为各地的编码的标准都不一样,就会在转换中出现"乱码"现象,为了解决这个问题,Unicode字符集应运而生。

  • Unicode也称为: 统一码/万国码/单一码,它是业界的一种标准,通过它计算机可以实现世界上不同地区数十种文字的显示,2005年Unicode就已经收录了超过十万个字符,现在由Unicode组织进行管理运作。

  • Unicode编码系统为表达任意语言的任意字符而设计,它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

  • Unicode编码标准现在有三种具体实现,分别是:UTF-8、UTF-16、UTF-32。

(1) UTF-8字符编码:

  • 它是实现了Unicode编码方案的一种可变长字符编码(定长码)，也是一种前缀码。

  • 它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部份修改，即可继续使用。

  • UTF-8已经逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。

  • 互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。

  • UTF-8编码使用一至四个字节为每个字符编码(其中ASCII字符集中的128个字符只占1字节,还有附加符文的拉丁文、希腊文等需要2个字节,其他常用的文字占用3个字节,还有极少数的字符占用4个字节)。

(2) UTF-16字符编码:

  • 它是实现了Unicode编码方案的一种可变长字符编码(定长码)

  • 因为Unicode字符集中收录了很多字符,但是常用的一般不会超过65535个以外的字符,所以出现了UTF-16(2字节=16位)。

  • UTF-16优点: 它在空间效率上比UTF-32高两倍，因为每个字符只需要2个字节来存储（除去65535范围以外的），而不是UTF-32中的4个字节。

  • UTF-16缺点: 不兼容ASCII。

(3) UTF-32字符编码:

  • 它是实现了Unicode方案的一种定长字符编码。

  • 它使用4个字节的数字来表示每个字母、符号，或者表意文字(ideograph)。

  • 优缺点: 使用4个字节存储每个字符,效率高,处理速度快(因为不用计算需要几个字节进行存储),但是浪费空间。

四:举例说明编码与解码的过程
四:举例说明编码与解码的过程

通过上面的基础规则学习,我们已经对字符集、编码、解码等基础知识有了基本的认识。现在我们就通过图形化来举一个例子更加形象理解的这些知识(以:ASCII字符集为准,用我们编程入门的最常见的字符串:hello world为例子)

编码: 在屏幕输入文字 -> 根据指定编码类型 -> 将输入的文字编码成计算机能够识别的二进制数 -> 计算机存储编辑成的二进制数值

在这里插入图片描述

解码: 计算机读取存储的二进制数值 -> 根据指定的解码类型解码 -> 将二进制数值解码成字符集中表达的字符 -> 在屏幕显示

在这里插入图片描述

五:乱码出现的原因
五:乱码出现的原因

通过上面的例子,我们能够更加清楚编码和解码的过程。同时,也看出了乱码出现的原因:

  • 编码过程和解码过程使用的编码方式不一致

在这里插入图片描述

  • 编码/解码对应的字符集不存在对应的字符

在这里插入图片描述

六:解决乱码
六:解决乱码

知道出现乱码的两个原因,要解决乱码就要同时满足以下两个条件:

1. 编码过程和解码过程使用同一种编码方式

  1. 使用支持需要编码解码的字符串对应的字符集

在这里插入图片描述

七:经常遇到的乱码场景与解决
七:经常遇到的乱码场景与解决
一:IDEA工具出现乱码

File -> setting -> 输入File encoding -> 设置成对应的字符集

在这里插入图片描述

二:Mysql数据库乱码和编码设置

通过控制台登录到mysql后。

  • 查询当前默认的数据库编码方式:

show variables like ‘character_set%’

在这里插入图片描述

  • 设置数据库编码方式

//当前会话,退出控制台后又恢复回原来默认的编码方式

set character_set_server=utf8;

set character_set_database=utf8;

//全集范围,无论是否退出控制台,以后都是使用这个编码方式

set global character_set_database=utf8;
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

img

最后

做任何事情都要用心，要非常关注细节。看起来不起眼的、繁琐的工作做透了会有意想不到的价值。
当然要想成为一个技术大牛也需要一定的思想格局，思想决定未来你要往哪个方向去走, 建议多看一些人生规划方面的书籍,多学习名人的思想格局，未来你的路会走的更远。

更多的技术点思维导图我已经做了一个整理，涵盖了当下互联网最流行99%的技术点，在这里我将这份导图分享出来，以及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务**

[外链图片转存中…(img-WVFlV7zx-1712323364674)]

[外链图片转存中…(img-WkQP8xe0-1712323364674)]

[外链图片转存中…(img-pgi0pfTQ-1712323364675)]

[外链图片转存中…(img-VxwSaicK-1712323364675)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！

weixin_Vip1104z
关注
  • 12
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
灵锐用户密码管理密码安全密码USBTRACE数据解码工具
11-17
用于解密灵锐加密狗用户密码管理密码安全密码的小工具
什么是编码和解码
热门推荐
杨思默
04-02 1万+
举例说明
各种编码详解
最新发布
qq_41184334的博客
04-26 756
已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。
编码与解码
qq_45022743的博客
01-04 5693
什么是编码与解码 电脑是由电路板组成，电路板里面集成了无数的电阻和电容， 交流电经过电容的时候，电压比较低 记为低电平 ， 用0表示，交流电流过电阻的时候，电压比较高，记为高电平，用1来表示； 所以每一个1 和0 在计算机中被称为 位，也就是bit位。然而，如果使用一个位来表示计算机中的最小存储单元， 那么这个存储单元只能存储0或者1， 存储的范围太小了，所以我们规定用用8个bit位为一组 来表示 计算机的最小存储单元。 8个位 每个位上能存储0或 者1，则byte的存储范围则是 00000000-111
编码和解码
u012485099的博客
07-28 4811
Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。可查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性，需要解码后才能阅读。Base64由于以上优点被广泛应用于计算机的各个领域，然而由于输出内容中包括两个以上“符号类”字符（+,/,=)，不同的应用场景又分别研制了Base64的各种“变种”。表单。...
使用BASE64实现编码和解码
心态的博客
10-25 3463
BASE64编码是一种将二进制数据转换为ASCII字符的编码方式，常用于在网络传输中传递、保存二进制数据。BASE64编码可以将任意的二进制数据转换为文本字符串形式，由于其特殊的编码方式，不易被人直接识别，也比较难以被篡改。 Java语言中提供了BASE64编码解码的支持，可以很方便地进行编码和解码操作。使用BASE64编码/解码非常简单，只需要调用相应的编码器或解码器即可。在进行BASE64编码解码时，需要注意数据类型的转换，以及一些特殊字符的处理。 下面我们来介绍如何在Java中进行BASE64编码
字符编码的故事
Selfeasy的博客
03-14 465
本文摘自：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431664106267f12e9bef7ee14cf6a8776a479bdec9b9000 字符编码 我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。 因为计算机只能处理
短信UCS编码或解码工具
12-30
UCS（Universal Character Set，通用字符集）是一种广泛使用的字符编码标准，它包含了全世界大部分语言的字符。UCS编码在短信领域的应用主要是通过其子集UCS2，这是一种16位的编码方式，能够表示大量的Unicode字符。...
tlv的java编码和解码
12-25
本文将详细讲解如何在Java环境中实现TLV的编码与解码，并结合提供的`ber-tlv`资源进行分析。 TLV结构简单明了，由三个部分组成： 1. **Tag**：标识数据的类型或者含义，通常是一个整数。 2. **Length**：表示Value...
常见编码解码助手 52专版.zip
03-27
常见编码解码助手是一款强大的编码解码器，编程中常见的编码类型都可以用这款工具，支持的编码类型包括ASCII转义、UTF-8转义，并支持URL转义、HTML转义等功能，同样也可以进行加码，可满足用户的多种编码和解码需求...
4_卷积码编码解码_
10-04
说明了卷积编解码的工作原理。用Simulink仿真卷积编码，并用Viterbi译码的方法进行解码，其中的编解码全部自己编写代码(S-Function方式)，在加性白高斯噪声信道中，画出比特信噪比与误码率的关系曲线
算术编码解码C++实现
12-09
算术编码C++实现，概率自适应方法进行算术编码和解码
base64编码解码器【C++】
m0_63288666的博客
09-09 5206
base64编解码器，C+++++++++++++++C
什么是编码，什么是解码。原理解读
toyijiu的专栏
05-13 9114
原文：http://www.cnblogs.com/luguo3000/p/3592562.html 编码问题一直都伴随着程序猿从不间断，刚开始学编程的时候好多次遇到编码问题，解 决了文件读取的编码问题，又遇到了网络编码问题，解决了网络编码问题又遇到了数据库编码问题。总结一下无非就是编码原理没搞清楚，希望本文能从原理上让菜 鸟们理解编码，遇到问题可以从原理上搞定编码。 一.编码 人类先有了自己的语言，交流了若干个世纪，然后出现了计算机。可惜计算机只认0和1，人类只能认文字，双方都不能妥协，那就必须要有一个
2020-12-23
v_3483608762的博客
12-23 1715
通信领域的编码 1.摩斯编码 特征特点：用点（.）和划（-）来编码范围0-9、A-Z的字符，字母不区分大小写，两个字母之间的空格用斜杠（/）或者三个点（.）或者一个划（-）表示，两个单词之间的间隔是七个点（.）。 根据摩斯编码的原理，CTF中也有出现过变种的摩斯编码，比如点（.）和划（-）用数字0和1来表示等此类变种的思路。 在线解密&工具： http://www.jb51.net/tools/mor...
编码和解码概念理解
ma123222的博客
03-26 269
所谓编码就是把要传递的信息按照一定的规则进行组织，所谓解码就是把收到的信息按照一定的规则进行解析，我们在用python编程时，经常会遇到编码和解码的问题，其实这些概念和传递情报的例子是一样的。并且这个规则必须是编码者和解码者事先都知道或约定好的。编码（encode）和解码（decode）
软解和硬解
qq_45251343的博客
12-17 1万+
软解和硬解软解硬解硬的优劣区别软解视频软解软件解锁硬件方面软件方面 软解 可以理解为利用软件本身解码。比如播放器本身。但是实际上软解还是得硬件支持。这个硬件就是CPU。 在软解码过程中，需要对大量的视频信息进行运算，所以对CPU处理性能的要求非常高。尤其是对高清大码率的视频来说，巨大的运算量就会造成转换效率低，发热量高等问题。 不过，软解码不需要过多的硬件支持，兼容性非常高，即使出现新的视频编码格式，只要安装好相应的解码器文件，就可以顺利播放。而且软解码拥有丰富的滤镜，字幕，画面处理优化等效果，只有你CPU
一文学习python中编码和解码
kymppcds的博客
02-18 2110
大家都知道计算机是二进制的世界，计算机系统只能识别数字0和1组成的一串串的数字。1位数字代表1个比特（bit），每8个比特代表1个字节（byte），那么1个字节如果都为数字1，如11111111，代表的最大数字是255。如果是2 个字节最大可以表示为 65535，4 个字节最大表示为4294967295。每一种不同的数字0和1的组合，就可以代表一个字符。ASCII 编码最开始是美国人发明的编码 ASCII ，只能表示 256 个字符，仅支持英文字母，数字和少部分符号。GBK 编码。
matlab实现AMI编码解码全过程
04-06
AMI（Alternate Mark Inversion）编码是一种常用的数字信号编码方式，用于在传输过程中将数字信号转换为模拟信号。下面是MATLAB实现AMI编码解码的全过程： 1. AMI编码： - 首先，将待编码的数字信号转换为二进制序列。 - 对于二进制序列中的每个位，如果是0，则输出0；如果是1，则交替输出+1和-1。 - 交替输出的+1和-1称为极性。 2. AMI解码： - 首先，接收到经过传输的AMI编码信号。 - 对于接收到的信号，根据极性进行解码。 - 如果接收到的信号为0，则输出0；如果接收到的信号为+1或-1，则输出1。 MATLAB代码示例： ```matlab % AMI编码 binary_sequence = [1 0 1 1 0 1]; % 待编码的二进制序列 ami_sequence = zeros(1, length(binary_sequence)); % 初始化AMI编码序列 polarity = 1; % 极性初始化为+1 for i = 1:length(binary_sequence) if binary_sequence(i) == 0 ami_sequence(i) = 0; else ami_sequence(i) = polarity; polarity = -polarity; % 极性交替变换 end end disp("AMI编码序列："); disp(ami_sequence); % AMI解码 decoded_sequence = zeros(1, length(ami_sequence)); % 初始化解码序列 for i = 1:length(ami_sequence) if ami_sequence(i) == 0 decoded_sequence(i) = 0; else decoded_sequence(i) = 1; end end disp("AMI解码序列："); disp(decoded_sequence); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值