UTF-8基础

最新推荐文章于 2022-08-19 19:39:08 发布
最新推荐文章于 2022-08-19 19:39:08 发布
阅读量423 收藏
点赞数
分类专栏： 杂七杂八 文章标签： UTF-8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/simpleforest/article/details/74804412
版权

1.  概念

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。

UTF-8使用一至六个字节为每个字符编码（尽管如此，2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF，也就是说最多四个字节）：

  1. 128个US-ASCII字符只需一个字节编码（Unicode范围由U+0000至U+007F）。
  2. 带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要两个字节编码（Unicode范围由U+0080至U+07FF）。
  3. 其他基本多文种平面（BMP）中的字符（这包含了大部分常用字，如大部分的汉字）使用三个字节编码（Unicode范围由U+0800至U+FFFF）。
  4. 其他极少使用的Unicode 辅助平面的字符使用四至六字节编码（Unicode范围由U+10000至U+1FFFFF使用四字节，Unicode范围由U+200000至U+3FFFFFF使用五字节，Unicode范围由U+4000000至U+7FFFFFFF使用六字节）

2. UTF-8编码字节含义

  • 对于UTF-8编码中的任意字节B，如果B的第一位为0，则B独立的表示一个字符(ASCII码)；
  • 如果B的第一位为1，第二位为0，则B为一个多字节字符中的一个字节(非ASCII字符)；
  • 如果B的前两位为1，第三位为0，则B为两个字节表示的字符中的第一个字节；
  • 如果B的前三位为1，第四位为0，则B为三个字节表示的字符中的第一个字节；
  • 如果B的前四位为1，第五位为0，则B为四个字节表示的字符中的第一个字节；

因此，对UTF-8编码中的任意字节，根据第一位，可判断是否为ASCII字符；根据前二位，可判断该字节是否为一个字符编码的第一个字节；根据前四位（如果前两位均为1），可确定该字节为字符编码的第一个字节，并且可判断对应的字符由几个字节表示；根据前五位（如果前四位为1），可判断编码是否有错误或数据传输过程中是否有错误。

3. Unicode 和 UTF-8 之间的转换关系表

Unicode 和 UTF-8 之间的转换关系表 ( x 字符表示码点占据的位 )
码点的位数 码点起值 码点终值 字节序列 Byte 1 Byte 2 Byte 3 Byte 4 Byte 5 Byte 6
  7U+0000U+007F 10xxxxxxx
11U+0080U+07FF 2110xxxxx10xxxxxx
16U+0800U+FFFF 31110xxxx10xxxxxx10xxxxxx
21U+10000U+1FFFFF 411110xxx10xxxxxx10xxxxxx10xxxxxx
26U+200000U+3FFFFFF 5111110xx10xxxxxx10xxxxxx10xxxxxx10xxxxxx
31U+4000000U+7FFFFFFF 61111110x10xxxxxx10xxxxxx10xxxxxx10xxxxxx10xxxxxx
  • 在ASCII码的范围，用一个字节表示，超出ASCII码的范围就用字节表示，这就形成了我们上面看到的UTF-8的表示方法，这様的好处是当UNICODE文件中只有ASCII码时，存储的文件都为一个字节，所以就是普通的ASCII文件无异，读取的时候也是如此，所以能与以前的ASCII文件兼容。
  • 大于ASCII码的，就会由上面的第一字节的前几位表示该unicode字符的长度，比如110xxxxx前三位的二进制表示告诉我们这是个2BYTE的UNICODE字符；1110xxxx是个三位的UNICODE字符，依此类推；xxx的位置由字符编码数的二进制表示的位填入。越靠右的x具有越少的特殊意义。只用最短的那个足够表达一个字符编码数的多字节串。注意在多字节串中，第一个字节的开头"1"的数目就是整个串中字节的数目。

ASCII字母继续使用1字节存储，重音文字、希腊字母或西里尔字母等使用2字节来存储，而常用的汉字就要使用3字节。辅助平面字符则使用4字节。

在UTF-8文件的开首，很多时都放置一个U+FEFF字符（UTF-8以EF,BB,BF代表），以显示这个文本文件是以UTF-8编码。

4. 示例

字符： A
unicode: U+41
UTF-8: 01000001 (0x41)
说明：只需要一个字节，最高位为0，后面表示unicode值

字符：丁
unicode: U+ 4e01
由3可知需要三个字节表示
1110xxxx 10xxxxxx 10xxxxxx

4e01二进制表示：0100 1110 0000 0001

填充： 1110 0100     1011 1000    1000 0001

UTF-8: 0xe4b881

本文根据自己的理解整理而成，可能还有不足之处，后续会继续修改



SimpleForest
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GBK与UTF-8的区别
12-11
1.GBK是在国家标准 GB2312基础上扩容后兼容GB2312的标准（好像还不是国家标准）。GBK编码专门用来解决中文编码的，是双字节的。不论中英文都是双字节的。 2.UTF－8 编码是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。对于英文字符较多的论坛则用UTF－8 节省空间。另外，如果是外国人访问你的GBK网页，需要下载中文语言包支持。访问UTF-8编码的网页则不出现这问题。可以直接访问。 GBK包含全部中文字符
UTF8使用详解
zhuruibing的专栏
05-23 2378
UTF8并不算是一种电脑编码，而是一种储存和传送的格式，如前所述，每个Unicode/UCS字符都以 2或4个bytes来储存，看看以下的比较： 　　以"I am Chinese"为例 　　　用ANSI储存：12 Bytes 　　　用Unicode/UCS2储存：24 Bytes + 2 Bytes(header) 　　　用UCS4储存：48 Bytes + 4 Bytes(header) 　　以"我是中国人"为例 　　　用ANSI储存：10 Bytes 　　　用Unicode/UCS2储存：10.
字符编码之间的关系
qq_33393542的博客
12-26 2269
1、ASCII编码：用来表示英文，它使用1个字节表示，其中第一位规定为0，其他7位存储数据，一共可以表示128个字符。 2、拓展ASCII编码：用于表示更多的欧洲文字，用8个位存储数据，一共可以表示256个字符 3、GBK/GB2312/GB18030：表示汉字。GBK/GB2312表示简体中文，GB18030表示繁体中文。 4、Unicode编码：包含世界上所有的字符，是一个字符集。 5
UTF-8 编码格式(python)
热门推荐
小胖_@的博客
07-27 3万+
utf-8简介 UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，由Ken Thompson于1992年创建，现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。 计算机中使用1-6个字节表示一个UTF-8字符；大多数......
UTF-8 与 UTF-16编码详解
小鲁蛋的博客
08-19 2万+
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元， 长度为2 Byte）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。引用维基百科中对于UTF-16编码的解释我们可以知道，UTF-16最少也会用2 Byte来表示一个字符，因此没有办法兼容ASCII编码。
【Encoding】UTF-8编码规则
Catullus的博客
10-23 3万+
UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。 如表： 字节数 格式 1字节 0xxxxxxx 2字节 110xxxxx 10xxxxxx 3字节 1110xxxx 1
UTF-8编码的详细讲解
05-09 2907
UTF-8 and Unicode FAQ by Markus Kuhn  中国LINUX论坛翻译小组 xLoneStar[译] 2000年2月  这篇文章说明了在 POSIX 系统 (Linux,Unix) 上使用 Unicode/UTF-8 所需要的信息. 在将来不远的几年里, Unicode 已经很接近于取代 ASCII 与 Latin-1 编码的位置了. 它不仅允许你处理处理事实上存在于地
UTF-8编码详解
yetaibing1990的博客
12-03 2万+
1.ASCII编码 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所 以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示 的最大整数是65535，4个字节可以表示的最大整数是4294967295。 最早只有...
Unicode编码详解(三)：UTF-8编码
黄邦勇帅的博客
12-31 5771
Unicode编码详解(三)：UTF-8编码 若觉得本文写得还可以，请多多关注本人所作书籍《C++语法详解》电子工业出版社出版，网盘地址： https://pan.baidu.com/s/1dIxLMN5b91zpJN2sZv1MNg 本文为原创文章，转载请注明出处，或注明转载自“黄邦勇帅(原名：黄勇) 注意：若对本文的专业术语不了解，请参阅本系列文章（一）和（二） 1、 UTF-8编码方式是目前使用最广泛的一种Unicode编码方式，但不是最早出现的，UTF-16比UTF-8早。 2、 UTF-8使用的是
docker-ubuntu:带有en_US.UTF-8语言环境的Ubuntu 14.04
05-25
Step 3 : RUN locale-gen en_US.UTF-8 && echo 'LANG="en_US.UTF-8"' > /etc/default/locale ---> Running in b24799cb6c0a Generating locales... cannot change mode of new locale archive: No such file or...
Discuz! X3.4 正式版 简体中文 utf-8 20190206
10-02
Discuz! X3.3 在继承和完善 Discuz! X3.2 的基础上，针对 PHP7 进行了优化。对于 X3.2 用户来说，X3.3 已继承了 X3.2 的补丁修复工作。安全稳定的程序为提供更加可靠的保障。 X3.4 自身升级
Discuz! X3.4 正式版 简体中文 utf-8 20190104
10-02
Discuz! X3.3 在继承和完善 Discuz! X3.2 的基础上，针对 PHP7 进行了优化。对于 X3.2 用户来说，X3.3 已继承了 X3.2 的补丁修复工作。安全稳定的程序为提供更加可靠的保障。 X3.4 自身升级
百度编辑器UEditor v1.4.3.2 PHP版 UTF-8.zip
07-16
其中，核心层为开发者提供了诸如range、selection、domUtils类的底层API接口，中间的命令插件层不仅提供了大量的基础command，还允许开发者基于核心层进行command命令的开发，而面向用户端的界面层则可以提供自由...
Unicode 和 UTF-8 的简单说明
freiheit_zz的博客
12-13 366
简单来说： Unicode 是「字符集」 UTF-8 是「编码规则」其中： 字符集：为每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point） 编码规则：将「码位」转换为字节序列的规则（编码/解码 可以理解为 加密/解密 的过程）Unicode相当于仓库，里面的货物是字符，UTF-8是货车，装载的是字符。UTF-8编码方式： 1. 单字节的字符，字节的第一位设为
ascii码，unicode编码，utf-8编码
weixin_41228949的博客
12-28 1782
我理解的ascii码，unicode编码，utf-8编码； 1、ascii编码： 美国于上个世纪60年代制定了一套字符编码，英语字符与二进制位之间对应关系，做了统一规定。故此诞生了一直沿用至今的ASCII码。 2、unicode编码 英语用128个符号编码就足够了，但是用来表示其他语言，128个符号是不够的。 此时，unicode编码出现了。 unicode是这样一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码（在0-127位，unicode与ascii表...
什么是UTF-8编码
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
06-05 2万+
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用一至四个字节对Unicode字符集中的所有有效编码点进行编码，属于Unicode标准的一部分，最初由肯·汤普逊和罗布·派克提出。[2][3]由于较小值的编码点一般使用频率较高，直接使用Unicode编码效率低下，大量浪费内存空间。UTF-8就是为了解决向后兼容ASCII码而设计，Unicode中前128个字符，使用与ASCII码相同的二进制值的单个字节进行编
UTF-8编码原理
随遇而安
09-14 3万+
本文转载自http://www.cnblogs.com/daxiong2014/p/4768681.html 1、ASCII码          我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个...
什么用Utf-8编码?
robin622的专栏
03-29 1750
Utf-8编码在国外应用普遍，为什么在国内应用却不多呢？尤其各大门户网站采用Utf-8的几乎没有。是否采用Utf-8，这个问题大家争论已久，但是很少有人系统地解说为什么要采用Utf-8编码？凡事皆有正反！采用Utf-8编码同样有其利弊，当利大于弊，我们当然就采用Utf-8？关于UTF-8编码和中文字符集中文有三种字符集，统一文字的编码将是进一步交流的基础。·国内网站和BLOG较多使用简体中文编码G
windows下查看软件的安装目录
SimpleForest的博客
02-08 2万+
1、windows下默认安装目录，比如 C:\Program Files (x86)       2、通过开始菜单，在开始菜单中输入程序名称，右键单击，选择“打开文件位置”       3、通过任务管理器( 以 word 为例)        a. 打开一个word文档，然后打开任务管理器，会看到对应的进程信息             b.右键单击进程，选择“转到进程”，如下所示：
python print utf-8-sig
最新发布
04-02
在Python中，print函数用于将文本或其他数据输出到控制台。而utf-8-sig是一种特殊的UTF-8编码格式，它在文件开头添加了一个字节顺序标记（BOM），用于指示文件的编码方式。 当我们使用print函数输出文本时，默认情况下，Python会将文本以UTF-8编码方式进行输出。但是，如果文本中包含特殊字符或者非ASCII字符，可能会导致控制台无法正确显示这些字符。 为了解决这个问题，可以使用utf-8-sig编码格式来输出文本。这种编码格式会在UTF-8编码的基础上添加一个BOM，以帮助控制台正确解析和显示特殊字符或非ASCII字符。 下面是一个使用utf-8-sig编码格式输出文本的示例： ```python text = "你好，世界！" print(text.encode("utf-8-sig").decode("utf-8")) ``` 这样就可以确保控制台正确显示包含特殊字符或非ASCII字符的文本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值