【Encoding】UTF-8编码规则

最新推荐文章于 2025-04-27 13:15:05 发布
最新推荐文章于 2025-04-27 13:15:05 发布
阅读量3.4w 收藏 40
点赞数 6
分类专栏： Encoding 文章标签： 编码 utf-8 二进制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014647208/article/details/78319347
版权
本文详细介绍了UTF-8编码的特点及实现原理，并通过一个具体的例子解释了如何将Unicode编码转换为UTF-8编码，以及如何从UTF-8编码还原出Unicode编码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。
如表：

字节数格式
1字节0xxxxxxx
2字节110xxxxx 10xxxxxx
3字节1110xxxx 10xxxxxx 10xxxxxx
4字节11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字节111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字节1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

因此UTF-8中可以用来表示字符编码的实际位数最多有31位，即上表中x所表示的位。除去那些控制位（每字节开头的10等），这些x表示的位与UNICODE编码是一一对应的，位高低顺序也相同。
实际将UNICODE转换为UTF-8编码时应先去除高位0，然后根据所剩编码的位数决定所需最小的UTF-8编码位数。
因此那些基本ASCII字符集中的字符（UNICODE兼容ASCII）只需要一个字节的UTF-8编码（7个二进制位）便可以表示。
对于上面的问题，代码中给出的两个字节是：
十六进制：C0 B1
二进制：11000000 10110001
提取出对应的UNICODE编码：
00000 110001
可以看出此编码并非“标准”的UTF-8编码，因为其第一个字节的“有效编码”全为0，去除高位0后的编码仅有6位。由前面所述，此字符仅用一个字节的UTF-8编码表示就够了。
Java在把字符还原为UTF-8编码时，是按照“标准”的方式处理的，因此我们得到的是仅有1个字节的编码。

python为什么中文要encoding-python中encoding是什么意思
weixin_37988176的博客
11-01 7298
encoding是编码的意思，在python中，Unicode类型是作为编码的基础类型。Python encode() 方法以encoding指定的编码格式编码字符串。errors参数可以指定不同的错误处理方案。encode()方法语法：（推荐学习：Python视频教程）str.encode(encoding='UTF-8',errors='strict')参数encoding -- 要使用的编码...
编码——ASCII、UTF-8等常见编码知识扫盲
qq_63302957的博客
05-22 2495
ASCII、UTF-8等常见编码知识扫盲前言对于每个接触过计算机相关知识的人来说，字符编码其实多多少少都有些了解。我现在是本科三年级，也是学习计算机的第三个年头，也大概了解一些字符编码的规则，然而若要当场讲出个所以然来，我恐怕难以完成。在补自然语言处理的实验作业——文本聚类的过程中。我突发想起字符编码的原理。于是直接翘了作业，去查阅相关资料，好在不用花太多功夫，收获颇丰，于是在此总结。简介我们知道，在计算机内部，所以信息都是以二进制编码的形式存在，1个二进制位称为1个比特（bit），可以表示2种状态，而8个
正确理解和使用GBK及UTF-8编码
weixin_30666943的博客
12-12 636
网页编码英文译为web page encoding，是在网页中指定其特定的字符编码格式的库。 GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大。 UTF-8：Unicode Tra...
utf8 encoding
03-03
This PDF file is an excerpt from The Unicode Standard, Version 5.2, issued and published by the Uni- code Consortium. The PDF files have not been modified to reflect the corrections found on the Updates and Errata page (http://www.unicode.org/errata/). For information about more recent ver- sions of the Unicode Standard see http://www.unicode.org/versions/enumeratedversions.html. Many of the designations used by manufacturers and sellers to distinguish their products are claimed as trademarks. Where those designations appear in this book, and the publisher was aware of a trade- mark claim, the designations have been printed with initial capital letters or in all capitals. The Unicode? Consortium is a registered trademark, and Unicode? is a trademark of Unicode, Inc. The Unicode logo is a trademark of Unicode, Inc., and may be registered in some jurisdictions. The authors and publisher have taken care in the preparation of this book, but make no expressed or implied warranty of any kind and assume no responsibility for errors or omissions. No liability is assumed for incidental or consequential damages in connection with or arising out of the use of the information or programs contained herein. The Unicode Character Database and other files are provided as-is by Unicode?, Inc. No claims are made as to fitness for any particular purpose. No warranties of any kind are expressed or implied. The recipient agrees to determine applicability of information provided...
Eclipse项目文件统一设置为UTF-8编码
最新发布
weixin_33816734的博客
04-27 1105
在开发环境中，编码的优先级决定了在处理文件编码时，哪个配置级别将被优先考虑。全局编码配置，是指在整个开发环境中设置统一的编码规则，适用于那些在项目之间保持一致性的场景。例如，在一个团队中，为了确保所有开发者编辑同一份文件时不会产生编码差异，可以设置全局编码为UTF-8，确保每个人的编辑器都遵循同样的编码规则。而项目特定编码设置则更为灵活，它允许每个项目根据需要设置不同的编码规则。
Encoding.UTF8是.NET 中用于处理UTF-8编码的标准编码类
book_dw5189的博客
08-28 926
System.Text.Encoding 类的一个静态属性，提供了对 UTF-8 编码和解码的支持。
IDEA的乱码与file.encoding = UTF-8
piglite的专栏
11-29 9641
我们知道存储文本文件时，文本变为二进制时要对文件进行encoding，这是一个字节转字符的过程，转换的具体工作由JAVA的API完成（例如：getBytes(编码方案)方法），但是如果你不提供编码方案，那么JAVA会使用一个默认编码方案完成这个任务。我们的TestCoding.java是UTF8，那么encoding是使用的GBK，这样得到的编码文件TestCoding.class其实是“错误”的。首先控制台上是正确的输出，而且在控制台的右下角我们看到，作为输出内容的容器，控制台使用的是UTF-8。
UTF 8 encoding
weixin_34290631的博客
05-22 147
JSP:<%@pagelanguage="java"contentType="text/html;charset=utf-8"pageEncoding="utf-8"%> <metahttp-equiv="Content-Type"content="text/html;charset=utf-8">XML:<?xmlvers...
GBK编码转换和UTF-8编码转换模块源码
05-27
在资源中提到的“GBK编码转换为URL编码”和“UTF-8编码转换为URL编码”，URL编码（也称为percent-encoding）是URL的一部分，用于包含非ASCII字符或者URL中不能直接使用的特殊字符。在URL中，某些字符如空格、中文等...
PHP如何实现Unicode和Utf-8编码相互转换
10-23
按照UTF-8编码规则，它是一个3字节的字符，所以我们可以将其拆分成多个6位的段，然后根据UTF-8的编码格式添加前导位，得到UTF-8编码为E4BDA0。 2. UTF-8转Unicode： 从UTF-8编码恢复到Unicode，我们需要识别出每个...
GB2312转utf-8编码批量转换软件-迷你批量更改编码工具-批量编码转换软件
05-30
UTF-8编码的一个优点是其兼容ASCII编码，前128个字符与ASCII相同，这使得它在互联网上得到了广泛的应用。 在处理GB2312编码的文件时，如果使用UTF-8编码的系统或者工具，可能会出现乱码问题，反之亦然。因此，当...
php的mail函数发送UTF-8编码中文邮件时标题乱码的解决办法
10-23
在设置邮件头部信息时，对主题使用了`base64_encode`函数进行编码，并且按照UTF-8编码规则将主题字符串转换为符合RFC2047规范的格式。最后，使用`mail`函数将邮件发送出去。 除了正确的编码设置外，还需要注意邮件...
Encoding
08-03
网友netstarry写的一个处理字符编码的类，很好的解决了php中字符转换的问题 前一阵子见到了qiushuiwuhen君的关于gbk,unicode,big5的转换的文章 但是多少有一些不太大的问题 于是我设计了一个负责字符转换的类,修正了其中的一些不足，增加了部分功能,以后我会不断扩充该类，来支持更多的字符集 增加了如下几点： unicode->gbk 符号部分的转换 欧元符(?的识别 big5,Unicode,GBK之间的相互转换,前提是只转换共同的字符集部分, 使用说明: 暂时程序支持以下字符编码方式: GBK,BIG5,UTF-16BE(Unicode big-endian字节顺序),UTF-16LE(Unicode little-endian字节顺序),UTF-8 默认输入编码方式为GBK,默认输出编码方式为UTF-16BE; 该类别提供两个函数用来修改输入和输出编码方式： 修改输入编码方式 boolean SetGetEncoding(string $GetEncoding) 修改输出编码方式 boolean SetToEncoding(string $ToEncoding) 函数参数只能使用上述5种编码方式，区分大小写,如GBK不能写成gbk 如果设置成功,返回true,如果使用了错误的编码名,返回false,并现实错误信息 函数 string EncodeString(string $String) 负责进行字符编码转换,返回转换后的字符串 使用前,请将var $FilePath=\"\"变量该为该程序文件的绝对路径,否则将会找不到数据文件 例子： 将gbk编码的字符串转化为UTF-8编码: $s=\"GBK编码\"; $CharEncoding=new Encoding(); $CharEncoding->SetGetEncoding(\"GBK\")||die(\"编码名错误\"); $CharEncoding->SetToEncoding(\"UTF-8\")||die(\"编码名错误\"); echo $CharEncoding->EncodeString($s); 在浏览器中使用UTF-8编码察看,将会看到正确的字符.
UTF8_Encoding
Stay Awesome
04-22 508
写在前面 周一和小姐妹 Skady 宝贝练完舞后，交流了一个小时技术，是的????我们没有扯皮，难得交流技术。????她在玩“在C语言中编写JS代码，然后再编译成wasm，可以在浏览器里跑”，我们简单地交流了一下底层实现.应该是基于 ArrayBuffer 的 然后不知怎么就想到了 0.1 + 0.2 ≠ 0.3，这个经典问题 想看看它在内存中的表现 并记录一下将 String 字符串，转成字节流的整个实现...
[Python]编码声明：是coding:utf-8还是coding=utf-8呢
热门推荐
orangleliu 笔记本
04-03 7万+
我们知道在Python源码的头文件中要声明编码方式，如果你不只是会用到ascii码，很多人都写得都有点差别： #coding=utf-8 #coding:utf-8 #-*- coding:utf-8 -*-   那么怎样写才是有效地呢，哪些优势无效的呢？  可以查看下http://www.python.org/dev/peps/pep-0263/的解释 粗略的看下：   概要: ...
pageEncoding=utf8和charset=utf-8
fhzheng for c java javascript sql html css
05-23 4363
pageEncoding 在JSP标准的语法中，如果 pageEncoding属性存在，那么JSP页面的字符编码方式就由pageEncoding决定，否则就由contentType属性中的 charset决定，如果charset也不存在，JSP页面的字符编码方式就采用默认的ISO-8859-1。 pageEncoding 是通知web server jsp的编码。 关于JSP页面中的pageE...
关于encoding utf-8
horace_lee的专栏
04-04 505
一 gem解决方案 [url]https://github.com/m-ryan/magic_encoding[/url] 二，rake task 解决方案 [code="ruby"] desc "Manage the encoding header of Ruby files" task :check_encoding_headers => :environment do f...
# encoding: utf-8
andych008的专栏
03-30 3397
a ruby1.9+rails3在helper方法中写中文时，出现invalid multibyte char (US-ASCII)异常了，查了下，原来ruby1.9是用ASCII编码来读源码的，奇怪。 解决办法是在文件的第一行加上 # encoding: utf-8 a a a
python中encoding: utf-8和sys.setdefaultencoding("utf-8")作用
weixin_39790282的博客
05-13 1万+
在python2中我们常常在文件头部写入 #encoding: utf-8 reload(sys) sys.setdefaultencoding("utf-8") 下面解释下这2个编码设置的作用 1. encoding: utf-8 #默认编码方式 2. sys.setdefaultencoding(“utf-8”) #默认解码方式 规则1 print 后面如果是uni...
encoding utf-8
03-28
### 关于UTF-8编码问题及其解决方案 UTF-8是一种广泛使用的字符编码方式，能够支持几乎所有的Unicode字符集。然而，在实际开发过程中，可能会遇到各种与UTF-8编码相关的问题。以下是常见的UTF-8编码问题以及相应的解决方案。 #### 数据库中的UTF-8配置问题 在创建数据库时，如果未正确设置字符集和校对规则，可能导致数据存储或检索过程中的乱码现象。例如，在MySQL中可以通过如下SQL语句来定义一个使用`utf8mb4`字符集的数据库[^1]： ```sql CREATE DATABASE nutch DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci; ``` 上述命令确保了新创建的数据库可以处理更广泛的Unicode字符集合（包括表情符号）。如果没有指定这些参数，默认可能不会启用完整的UTF-8支持，从而引发潜在的数据丢失或者显示错误。 #### HTTP消息转换器中的文本媒体类型支持 当通过HTTP协议传输字符串内容时，Spring框架提供了`StringHttpMessageConverter`类用于读取和写入字符串形式的消息体。默认情况下它会识别并操作所有基于文本的内容类型(`text/*`)，同时发送响应时设定其MIME类型为`text/plain;charset=UTF-8`[^2]。这意味着服务器端返回给客户端的信息会被标记成采用UTF-8编码格式，以保证跨平台间的一致性和兼容性。 对于表单提交场景下的多部分文件上传请求，则需借助另一个名为`FormHttpMessageConverter`的对象完成解析工作。尽管如此，无论哪种情况都强调保持一致性的编码标准——即始终推荐运用UTF-8作为首选方案之一。 #### Java环境版本选择注意事项 Oracle官方文档指出某些较旧版JDK/JRE虽然仍可供下载以便调试遗留项目之用，但由于缺乏最新安全补丁更新而不建议部署到生产环境中运行[^3]。因此，在涉及国际化应用场合下务必选用经过充分测试验证过的现代Java发行版，并确认其中内置Nashorn JavaScript引擎或其他依赖组件均已适配好最新的Unicode扩展特性。 另外值得注意的是，即便选择了合适的软件栈组合之后仍然可能出现因操作系统层面区域选项不当而导致的实际执行效果偏离预期目标的现象；此时则应进一步核查具体进程启动脚本里是否显式指定了 `-Dfile.encoding=UTF-8` JVM 参数项。 #### CocoaPods终端编码需求说明 针对iOS/macOS开发者而言，安装第三方库管理工具CocoaPods之前往往还需要满足特定前提条件其中之一便是要求所处的工作区具备有效的UTF-8编码能力。否则即使顺利完成初始化流程也可能因为后续编译阶段遭遇隐含异常而失败告终[^4]。解决办法通常包含但不限于调整shell profile 文件内的LANG/LC_ALL变量赋值行为使之符合期望模式样例展示如下所示: ```bash export LANG=en_US.UTF-8 export LC_ALL=en_US.UTF-8 ``` 最后重启受影响的应用程序实例即可生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值