utf-8编码规则

最新推荐文章于 2024-08-05 11:00:22 发布
最新推荐文章于 2024-08-05 11:00:22 发布
阅读量3.0k 收藏 2
点赞数
分类专栏： 综合 文章标签： 文本编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ldhshao/article/details/122893031
版权
在将程序从x86_64 Qt5.12迁移到arm Qt4.8时，作者遇到了汉字乱码问题，研究发现UTF-8编码方式是变长的，其中ASCII字符仅需1字节，而汉字等需要多个字节表示。文章通过汉字“皮带”的编码示例解释了UTF-8编码的结构，并展示了如何将UTF-8转换为Unicode编码。
摘要由CSDN通过智能技术生成

背景

最近将程序从x86_64 Qt5.12向arm Qt4.8环境上迁移时，遇到汉字乱码问题。很想弄清楚utf-8中汉字是如何编码的，后来看到UTF-8编码规则（转）,惊喜，所以记录一下。

utf-8编码规则

UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节，其有效bit数为31。

如表：
1字节 0xxxxxxx
2字节 110xxxxx 10xxxxxx
3字节 1110xxxx 10xxxxxx 10xxxxxx
4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

将UNICODE转换为UTF-8编码时应先去除高位0，然后根据所剩编码的位数决定所需最小的UTF-8编码位数。
因此，那些基本ASCII字符集中的字符（UNICODE兼容ASCII）只需要一个字节的UTF-8编码（7个二进制位）便可以表示。

汉字编码示例

开发环境Qt5.12.10,默认启用utf-8编码格式。测试utf-8

最低0.47元/天 解锁文章
ldhshao
关注
专栏目录
UTF-8汉字码表.txt
02-04
#### 三、UTF-8编码规则 UTF-8编码的规则取决于被编码的Unicode字符的范围： 1. **ASCII字符**（U+0000至U+007F）： - 使用一个字节表示，形式为`0xxxxxxx`。 2. **扩展ASCII字符**（U+0080至U+07FF）： - 使用...
【转】utf-8的中文是一个汉字占三个字节长度
weixin_34117211的博客
01-18 1458
因为看到百度里面这个人回答比较生动，印象比较深刻，所以转过来做个笔记 原文链接 https://zhidao.baidu.com/question/1047887004693001899.html 知乎也有更清晰解答 https://www.zhihu.com/question/23374078 1、美国人首先对其英文字符进行了编码，也就是最早的ascii码，用一个字节的低7位来表示英...
UTF-8编码
飞鱼的博客
02-14 1万+
通过阅读本篇文章，你可以了解到：UTF-8编码的规则。
深入解析UTF-8编码：规则、优点与应用
最新发布
软考鸭
08-05 523
UTF-8（Unicode Transformation Format-8 bits）是一种针对Unicode的可变长度字符编码，用以在单字节到四字节之间表示每一个Unicode符号，使全世界各种语言的字符都能在计算机中得到唯一且统一的表示。UTF-8编码的设计兼顾了兼容性和效率，它采用1到4个字节来表示一个符号，根据符号的Unicode码点大小而变化字节长度。
什么是UTF-8编码
热门推荐
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
06-05 3万+
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用一至四个字节对Unicode字符集中的所有有效编码点进行编码，属于Unicode标准的一部分，最初由肯·汤普逊和罗布·派克提出。[2][3]由于较小值的编码点一般使用频率较高，直接使用Unicode编码效率低下，大量浪费内存空间。UTF-8就是为了解决向后兼容ASCII码而设计，Unicode中前128个字符，使用与ASCII码相同的二进制值的单个字节进行编
UTF-8 与 UTF-16编码详解
小鲁蛋的博客
08-19 2万+
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元， 长度为2 Byte）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。引用维基百科中对于UTF-16编码的解释我们可以知道，UTF-16最少也会用2 Byte来表示一个字符，因此没有办法兼容ASCII编码。
UTF-8编码详解
技术研究中心
12-31 2654
UTF-8（Unicode Transformation Format-8-bit）是一种可变长度的字符编码，它是Unicode标准的一部分。UTF-8能够表示几乎所有的字符，包括世界上所有的语言所使用的字符。UTF-8的设计灵活，它使用1到4个字节来表示一个字符，根据字符的不同而变化。英文字符通常使用1个字节表示，而一些较为罕见的字符可能需要使用4个字节。通过本文对UTF-8编码的详细解析，我们深入了解了其基本原理、用法以及应用场景。
判断文本文件是否为UTF-8编码
06-06
2. **扫描字节序列**：遍历文件内容，检查字节序列是否符合UTF-8编码规则。对于多字节字符，后续字节的最高位应为10，且每个字节的排列组合能对应到Unicode字符。 3. **一致性检查**：在整个文件中，确保所有的字节...
UTF-8toGBK_labview编码gbk_LabVIEWUTF-8_utf-8toGbk_
09-29
在LabVIEW编程环境中，"UTF-8toGBK.vi"这个程序可能是一个用户自定义的VI（Virtual Instrument），用于将UTF-8编码的字符串转换为GBK编码。LabVIEW作为一个图形化编程语言，提供了丰富的字符串处理函数，其中包括了...
PHP如何实现Unicode和Utf-8编码相互转换
10-23
按照UTF-8编码规则，它是一个3字节的字符，所以我们可以将其拆分成多个6位的段，然后根据UTF-8的编码格式添加前导位，得到UTF-8编码为E4BDA0。 2. UTF-8转Unicode： 从UTF-8编码恢复到Unicode，我们需要识别出每个...
js将字符转换为UTF-8字符的工具
10-29
2. UTF-8的编码规则：在UTF-8编码中，字符是根据其在Unicode编码中的数值大小决定使用多少个字节来表示。 - U+0000到U+007F的字符（基本的ASCII字符集），使用一个字节，并与ASCII编码完全相同。 - U+0080到U+07FF...
UTF-8编码的原理
爱就是是恒久忍耐的专栏
06-28 8684
UTF8编码的来由和工作原理
UTF8编码规则
weixin_42125148的博客
01-12 5739
上文：编码演进历史（ASCII-Unicode-UTF8）_球球888的博客-CSDN博客介绍了编码类型，接下来学习UTF8的编码规则 UTF-8是Unicode的一种实现方式，也就是它的字节结构有特殊要求，所以我们说一个汉字的范围是0X4E00到0x9FA5，是指unicode值，至于放在utf-8的编码里去就是由三个字节来组织，所以可以看出unicode是给出一个字符的范围，定义了这个字是码值是多少，至于具体的实现方式可以有多种多样来实现。 UTF-8是一种变长字节编码方式。对于某一个字符的UTF-
⭐️C语言中的UTF-8编码转换处理
Python老吕的博客
03-10 3074
在计算机中，字符被存储和传输时需要进行编码处理。UTF-8（8位Unicode转换格式）是一种针对Unicode字符集的可变长度字符编码方式。它根据字符的编码不同，使用1到4个字节来表示不同的Unicode字符。在C语言中处理UTF-8编码的字符串确实需要一些额外的注意和技巧。由于C语言标准库并未直接提供对UTF-8复杂处理的原生支持，我们通常需要借助一些方法，如逐个字符遍历或使用第三方库，来实现UTF-8编码的转换和处理。特别是在处理多语言文本时，深入了解UTF-8编码的基础和特性显得尤为重要。
Unicode、UTF-8编码详解
lixiangchibang的博客
04-16 9929
Unicode 编码
宽字节注入讲解
weixin_41489908的博客
09-09 5194
我讨厌现在的自己，一边压抑着自己的情绪，一边装作没事的样子，一到深夜就彻底崩溃了，天亮后还要微笑面对生活。。。 ---- 网易云热评 一、原理 1、单字节字符集： 所有的字符都使用一个字节来表示，比如 ASCII 编码(0-127) 2、多字节字符集： 在多字节字符集中，一部分字节用多个字节来表示，另一部分（可能没有）用单个字节来表示。 3、宽字节注入是利用mysql的一个特性，使用GBK编码的时候，会认为两个字符是一个汉字 二、addslashes()函数 1、addslashes(..
utf8&ascii编码
General_zy的博客
09-07 1789
由于ASCII编码表示的字符太少了，所以各个国家都有一套自己的编码标准，比如中国的GB2312、GBK编码等。但是如果每个国家都用自己的标准，那么交流起来就很复杂，所以ISO组织就发明了UNICODE编码，UTF-8（每次传输8位）是UNICODE的一种，向下可兼容ASCII编码。其他实现方式还包括 UTF-16（字符用两个字节或四个字节表示）和 UTF-32（字符用四个字节表示），不过在互联网上基本不用。Unicode 只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。
编写一个过滤器实现utf-8编码规则
03-16
要实现UTF-8编码规则的过滤器，需要对输入的字符进行判断和转换。UTF-8编码规则是一种变长编码，根据不同的字符范围使用不同长度的字节表示字符。在过滤器中，需要对输入的字符进行判断，根据字符的范围选择合适的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值