位(bit)、字节(byte)、字符、编码

一、位/比特位

位/比特位,数据存储的最小单位。每个二进制数字0或者1就是1个位。

二、字节(Byte)

字节(Byte)是一种计量单位,表示数据量多少,它是计算机信息技术用于计量存储容量的一种计量单位。

8个位构成一个字节。即:1 byte (字节)= 8 bit (位);
1 B = 1 byte(字节);
1 KB = 1024 B(字节);
1 MB = 1024 KB;(2^10 B)
1 GB = 1024 MB;(2^20 B)
1 TB = 1024 GB;(2^30 B)

三、字符

字符是指计算机中使用的文字和符号,比如1、2、3、A、B、C、~!·#¥%……—* () ——+、等等。

a、A、中、+、*、の…均表示一个字符;
一般 utf-8 编码下,一个汉字字符占用 3 个 字节;
一般 gbk 编码下,一个汉字字符占用 2 个 字节;

四、“字节”与“字符”

它们完全不是一个维度的概念,所以两者之间没有“区别”这个说法。不同编码里,字符和字节的对应关系不同:

①ASCII码中,一个英文字母(不分大小写)占一个字节的空间,一个中文汉字占两个字节的空间。一个二进制数字序列,在计算机中作为一个数字单元,一般为8位二进制数,换算为十进制。最小值0,最大值255。

②UTF-8编码中,一个英文字符等于一个字节,一个中文(含繁体)等于三个字节。

③Unicode编码中,一个英文等于两个字节,一个中文(含繁体)等于两个字节。
符号:英文标点占一个字节,中文标点占两个字节。举例:英文句号“.”占1个字节的大小,中文句号“。”占2个字节的大小。

④UTF-16编码中,一个英文字母字符或一个汉字字符存储都需要2个字节(Unicode扩展区的一些汉字存储需要4个字节)。

⑤UTF-32编码中,世界上任何字符的存储都需要4个字节。

五、字符集

即各种各个字符的集合。也就是说汉字,字母(A、b、c)和符号(空格、引号…)会被收入标准中。

六、编码

utf-8和Unicode实际上并不是同一个层次的概念。

规定每个“字符”分别用一个字节还是多个字节存储,用哪些字节来存储,这个规定就叫做“编码”。(其实际是对字符集中进行编码,即:每个字符用二进制在计算中表示存储);
通俗的说:编码就是按照规则将字符翻译成对应的二进制数,在计算器中运行存储,用户看的时候(比如浏览器),再用对应的编码解析成用户可看懂的。
1️⃣美国ASCII码
在计算机发明的时候,由于计算机只能表示二进制的数据,美国为了交流通信方便,约定了一个编码系统,就是ASCII码,把abc…xyz…ABC…XYZ…!@#…等字符分别和0,1,2,3,4…对应,发现差不多刚好128个数,半个字节的长度,为了防止以后需要为新的符号编码,于是干脆取一个字节,最高位置为0,后七位从0-127分别对每一个符号编码。于是,计算机每次读取一个字节,然后参照ASCII表把这些编码翻译成字符。
【标准ASCII字符集】
有96个打印字符,和32个控制字符组成。一共96+32=128个;
用7位二进制数来对每1个字符进行编码;而由于7位还还不够1个字节,而电脑的内部常用字节来用处理,每个字节中多出来的最高位用0替代;
0 000 0000…0
0 111 1111…127;
从0----127,来表示128个ACSii编码;

比如:
字符 ‘A’----------在计算器内部用0100 0001 (65)来表示;
字符’a’-----------在计算器内部用0 110 0001 (97)来表示;

注意:'10’在计算器内部是没有编码的,因为它是字符串,而不是单个字符。可以分别对1,0字符编码存储;

【扩展ASCii字符集】将标准的ASCii最高位1,得到十进制代码128—255(1 000 0000----1 111 1111);所以字符集一共有0—255, 256个字符;

【gb2312字符集】所有汉字字符在计算机内部采用2个字节来表示,每个字节的最高位规定为1【正好与标准ASCii字符(最高位是0)不重叠,并兼容】,不支持繁体字。所以,gb2312表示汉字的编码为:129–255 (两个字节,每个字节最高位是1);小于127的字符,与ASCii编码相同。

2️⃣欧洲ISO
后来欧洲人发现很多符号(法语,德语),ASCII没办法表示,于是他们约定了一套编码,一个字节的长度,把最高位也用掉了。这套编码叫ISO。和ASCII表类似,计算机也是每次只读一个字节,然后按照ISO表,解码出字符。

3️⃣中国GBK
中国汉字有几万个,常用的有几千个,没有两个字节无法表示。于是用了两个字节来表示中文,整出一套GBK。同时兼容了ASCII编码。gbk编码规定,计算机不能在每次都只读一个字节那么死板了,要先看看第一位是不是为0,要是为0的话,就当作ASCII码来读入一个字节,不然的话就读入两个字节。

【gbk字符集】gb2312的扩充,兼容gb2312,除了收录gb2312所有的字符外,还收录了其他不常见的汉字、繁体字等。gbk中字符是一个或两个字节,单字节字符00–7F(0—127)这个区间和ASCII是一样的;双字节字符的第一个字节是在81–FE(129–254)之间。通过这个可以判断是单字节还是双字节,即:在gbk字符编码,如果第一个字节是>128的,则再往后找一个字节,组成汉字;如果第一个字节<128,则表示的是一个单字节(此时和ASCII是一样的);

4️⃣unicode
如此,各方交流很不方便。这个时候,unicode编码就出现了。这套编码表的编号从0一直算到了100多万(三个字节)。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号,这就解决了解码的冲突。但是,unicode没有为编码的二进制传输和二进制解码做出规定。

计算机每次读取三个字节,参照Unicode表解码不行吗?想法是好的,但是如果类似1号编码这样的小数据编号也要三个字节的话,即0x000001,这样很浪费。于是,就出现了uft-8,utf-16,utf-32这些编码方案。utf-16是用两个字节来编码所有的字符,utf-32则选择用4个字节来编码。下面只讲一下utf-8这种解决方案,因为它用的最多,用得最多是因为在当时它的方案最好,最节省资源。

【Unicode字符集】容纳世界上所有语言字符和符号的集合(以及对应的二进制数字)
Unicode只是一个编码规范,目前实际实现的unicode编码只有三种:UTF-8,UCS-2和UTF-16,三种unicode字符集之间可以按照规范进行转换。

utf-8编码:UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。

utf-8为了节省资源,采用变长编码,编码长度从1个字节到6个字节不等。

看起来,utf-16更加节省资源,节省空间。但实际上,当时互联网上绝大部分存在的资源都是英文的,英文在utf-16中也是2个字节,而在utf-8中则是1个字节。在当时,显然是utf-8更加节省资源。现在在中文世界里来比较,则是utf-16更加节省资源。

  • 8
    点赞
  • 54
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JFS_Study

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值