QT的字符编码

最新推荐文章于 2024-07-11 16:17:50 发布
最新推荐文章于 2024-07-11 16:17:50 发布
阅读量594 收藏 1
点赞数 1
文章标签： 操作系统 数据库 c/c++
原文链接：http://www.cnblogs.com/lees-engineer/p/7660488.html
版权

QString编码：UTF-16

QString内部保存的数据就是QChar数组，是Unicode编码（utf16）,在字符显示，操作的时候都是基于Unicode。

QString构造时默认采用Latin-1编码转为Unicode保存。

所以如果字符数据不是Latin-1编码，那么就需要使用QString::from***函数来构造然后转为Unicode存储。

也可以使用强大的QTextCodec，首先QTextCodec肯定知道自己所负责的编码的，当你把一个char串送给它，就能正确将其转成Unicode

QString QTextCodec::toUnicode ( const char * chars ) const

 

QString的内部编码Unicode就是采用的UTF16,下面可以佐证：

inline QString &QString::setUtf16(const ushort *autf16, int asize)

{ return setUnicode(reinterpret_cast<const QChar *>(autf16), asize); }

 

QStringLiteral

直接创建Unicode的字符串，其实是使用了c++11的特性支持：lamda表达式+C++11的Unicode字符串：u"这是Unicode"。的方式。因为该lamda是编译时执行的，所以性能更高。

 

local8Bit:

在简体中文Windows下，local8Bit是GBK

通过QTextCodec *QTextCodec::codecForLocale()进行到Unicode的转换。在Windows就依赖system local。

也就是QTextCodec::codecForName("System")

 

 

这个值可以改。所以这就是转换为系统的编码格式。

 

 

C11与Unicode

在C11（ISO/IEC 9899:2011）标准中引入了对UTF8、UTF16以及UTF32字符编码的支持。

其中，UTF8字符直接通过char来定义，字面量前缀使用u8。比如：

char c = u8'你';

const char *s = u8"你好";

 

而UTF16字符直接通过char16_t来定义，字面量前缀使用u。比如：

#include <uchar.h>

char16_t c = u'你';

const char16_t *s = "你好";

 

而UTF32字符直接通过char32_t来定义，字面量前缀使用U。比如：

#include <uchar.h>

char32_t c = U'你';

const char32_t *s = U"你好";

 

C++11也支持Unicode

string literal

C++ C++ language Expressions

Syntax

" (unescaped_character|escaped_character)* " (1)

L " (unescaped_character|escaped_character)* " (2)

u8 " (unescaped_character|escaped_character)* " (3) (since C++11)

u " (unescaped_character|escaped_character)* " (4) (since C++11)

U " (unescaped_character|escaped_character)* " (5) (since C++11)

prefix(optional) R "delimiter( raw_characters )delimiter" (6) (since C++11)

Explanation

unescaped_character - Any valid character except the double-quote ", backslash \, or new-line character

escaped_character - See escape sequences

prefix - One of L, u8, u, U

delimiter - A character sequence made of any source character but parentheses, backslash and spaces (can be empty, and at most 16 characters long)

raw_characters - Any character sequence, except that it must not contain the closing sequence )delimiter"

 

1) Narrow multibyte string literal. The type of an unprefixed string literal is const char[].

2) Wide string literal. The type of a L"..." string literal is const wchar_t[].

3) UTF-8 encoded string literal. The type of a u8"..." string literal is const char[].

4) UTF-16 encoded string literal. The type of a u"..." string literal is const char16_t[].

5) UTF-32 encoded string literal. The type of a U"..." string literal is const char32_t[].

6) Raw string literal. Used to avoid escaping of any character. Anything between the delimiters becomes part of the string. prefix, if present, has the same meaning as described above.

 

QTextCodec 

提供的是 字符串 和 字节流 之间的相互转换(也就是字符的编解码)。支持的编码有：

Big5

Big5-HKSCS

CP949

EUC-JP

EUC-KR

GB18030

HP-ROMAN8

IBM 850

IBM 866

IBM 874

ISO 2022-JP

ISO 8859-1 to 10

ISO 8859-13 to 16

Iscii-Bng, Dev, Gjr, Knd, Mlm, Ori, Pnj, Tlg, and Tml

KOI8-R

KOI8-U

Macintosh

Shift-JIS

TIS-620

TSCII

UTF-8

UTF-16

UTF-16BE

UTF-16LE

UTF-32

UTF-32BE

UTF-32LE

Windows-1250 to 1258

 

KOI8-R编码转Unicode

QByteArray encodedString = "...";

QTextCodec *codec = QTextCodec::codecForName("KOI8-R");

QString string = codec->toUnicode(encodedString);

Unicode编码转KOI8-R

QString string = "...";

QTextCodec *codec = QTextCodec::codecForName("KOI8-R");

QByteArray encodedString = codec->fromUnicode(string);

 

 

 

字符编码

ASCII:(不是ASC2)

标准ASCII只用了0x00~0x7f,也就是低7位。而后来把高位也用上了，扩展了128个，也叫做扩展ACSII码。

 

扩展ASCII

不是国际标准。

 

Latin-1:（相当于ASCII+标准的扩展ASCII）

即ISO-8859-1的别名，编码是单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号。比ASC多了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号。所以中文字符会显示为是西欧等字符"ÎÒÊÇ"

 

ANSI:也是ascII的一种扩展，不同国家不一样

ANSI是一种字符代码，为使计算机支持更多语言，通常使用 0x00~0x7f 范围的1 个字节来表示 1 个英文字符。超出此范围的使用0x80~0xFFFF来编码，即扩展的ASCII编码。

不同的国家和地区制定了不同的标准，由此产生了 GB2312、GBK、GB18030、Big5、Shift_JIS 等各自的编码标准。这些使用多个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。

在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；

在繁体中文Windows操作系统中，ANSI编码代表Big5；

在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码.

每个国家（非拉丁语系国家）自己制定自己的文字的编码规则，并得到了ANSI认可，符合ANSI的标准，全世界在表示对应国家文字的时候都通用这种编码就叫ANSI编码。换句话说，中国的ANSI编码和在日本的ANSI的意思是不一样的，因为都代表自己国家的文字编码标准。比如中国的ANSI对应就是GBK标准，日本就是JIT标准，香港，台湾对应的是BIG5标准等等.

那么到底ANSI是多少位呢？这个不一定！比如在GB2312和GBK，BIG5中，是两位！但是其他标准或者其他语言如果不够用，就完全可能不止两位！那么到底ANSI是多少位呢？这个不一定！比如在GB2312和GBK，BIG5中，是两位！但是其他标准或者其他语言如果不够用，就完全可能不止两位！

ANSI有个致命的缺陷，就是每个标准是各自为阵的，不保证能兼容。换句话说，要同时显示中文和日本文或者阿拉伯文，就完全可能会出现一个编码两个字符集里面都有对应，不知道该显示哪一个的问题，也就是编码重叠的问题。显然这样的方案不好，所以Unicode才会出现！

 

MBCS（Multi-Byte Chactacter System（Set)）

多字节字符系统或者字符集，基于ANSI编码的原理上，对一个字符的表示实际上无法确定他需要占用几个字节的，只能从编码本身来区分和解释。因此计算机在存储的时候，就是采用多字节存储的形式。也就是你需要几个字节我给你放几个字节，比如A我给你放一个字节，比如"中“，我就给你放两个字节，这样的字符表示形式就是MBCS。在基于GBK的windows中，不会超过2个字节，所以windows这种表示形式有叫做DBCS（Double-Byte Chactacter System），其实算是MBCS的一个特例。C语言默认存放字符串就是用的MBCS格式。从原理上来说，这样是非常经济的一种方式。

 

CodePage

代码页，最早来自IBM，后来被微软，oracle ,SAP等广泛采用。因为ANSI编码每个国家都不统一，不兼容，可能导致冲突，所以一个系统在处理文字的时候，必须要告诉计算机你的ANSI是哪个国家和地区的标准，这种国家和标准的代号（其实就是字符编码格式的代号），微软称为Codepage代码页，其实这个代码页和字符集编码的意思是一样的。告诉你代码页，本质就是告诉了你编码格式。但是不同厂家的代码页可能是完全不同，哪怕是同样的编码，比如， UTF-8字符编码 在IBM对应的代码页是1208，在微软对应的是65001,在德国的SAP公司对应的是 4110 。所以啊，其实本来就是一个东西，大家各自为政，搞那么多新名词，实在没必要！所以标准还是很重要的！！！

 

比如GBK的在微软的代码页是936，告诉你代码页是936其实和告诉你我编码格式是GBK效果完全相同。那么处理文本的时候就不会有问题，不会去考虑某个代码是显示的韩文还是中文，同样，日文和韩文的代码页就和中文不同，这样就可以避免编码冲突导致计算机不知如何处理的问题。当然用这个也可以很容易的切换语言版本。但是这都是治标不治本的方法，还是无法解决同时显示多种语言的问题，所以最后还是都用unicode吧，永远不会有冲突了。

 

Unicode：

Unicode只是一种编码规范，而实现方式就有：utf8，utf16,utf32等。

因为Unicode并不涉及字符是怎么在字节中表示的，它仅仅指定了字符对应的数字，仅此而已。

Unicode只是一个用来映射字符和数字的标准。它对支持字符的数量没有限制，也不要求字符必须占两个、三个或者其它任意数量的字节。

参考：http://www.freebuf.com/articles/others-articles/25623.html

 

目前Unicode编码范围是：0-0x10FFFF，可以容纳1114112个字符，100多万啊。全世界的字符根本用不完了。Unicode 5.0版本中，才用了238605个码位。所以足够了。因此从码位范围看，严格的unicode需要3个字节来存储。但是考虑到理解性和计算机处理的方便性，理论上还是用4个字节来描述Unicode出现了。Unicode编码范围是：0-0x10FFFF，可以容纳1114112个字符，100多万啊。全世界的字符根本用不完了，Unicode 5.0版本中，才用了238605个码位。所以足够了。因此从码位范围看，严格的unicode需要3个字节来存储。但是考虑到理解性和计算机处理的方便性，理论上还是用4个字节来描述。

关于BOM：

编码的BOM是用于确定数据的字节序，编码方式的。对于UTF-8是没有必要用BOM的，因为字节宽度是1字节，而大于1B的都是有规定存储编码的。（微软使用UTF8+BOM是为了明确区分UTF8与ASC码，标准UTF8是无BOM）。BOM头只是建议添加，不是强制的。

下表是各种UTF编码的BOM(LE就是小端)：

UTF编码

Byte Order Mark (BOM)

UTF-8 without BOM

无

UTF-8 with BOM

EF BB BF

UTF-16LE

FF FE

UTF-16BE

FE FF

UTF-32LE

FF FE 00 00

UTF-32BE

00 00 FE FF

 

UTF-8:

这个方案的意思以8位为单位来标识文字，注意并不是说一个文字用8位标识。他其实是一种MBCS方案，可变字节的。到底需要几个字节表示一个符号，这个要根据这个符号的unicode编码来决定，最多4个字节。

 

编码规则如下：杨

Unicode编码(16进制)　 ║　UTF-8 字节流(二进制) 　

000000 - 00007F　 ║　0xxxxxxx 　　

000080 - 0007FF　 ║　110xxxxx 10xxxxxx 　　

000800 - 00FFFF　 ║　1110xxxx 10xxxxxx 10xxxxxx 　　

010000 - 10FFFF　 ║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。

UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位

 

UTF16:

绝大部分2个字节就够了，但是不能绝对的说所有字符都是2个字节。这个要看字符的unicode编码处于什么范围而定，有可能是2个字节，也可能是4个字节

 

UTF-32

这个就简单了，和Unicode码表基本一一对应，固定四个字节(因为目前Unicode只定义了21位的数据，4B足够)。

 

转载于:https://www.cnblogs.com/lees-engineer/p/7660488.html

weixin_30443075
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
QT中的编码
MoreBoldness的博客
05-27 566
版本qt5.7.0 msvc2013 64bit 两件事情需要明白： 1、QString类支持Unicode字符集 2、Qt5之后默认采用UTF-8编码的方式存储 一、Unicode 二、UTF-8
QT文本编码
Study_C++
03-27 930
字符集简史 　　在所有字符集中，最知名的可能要数被称为ASCII的7位字符集了。它是美国信息交换标准代码（American Standard Code for Information Interchange）的缩写, 为美国英语通信所设计。它由128个字符组成，包括大小写字母、数字0-9、标点符号、非打印字符（换行符、制表符等4个）以及控制字符（退格、响铃等）组成。 　　但是，由于他是针
QString 编码方式
叶落随风
11-17 1770
20210218 问题 服务器未配置人脸相机，若局域网中有192168.1.108的相机，则会使用该相机录制视频 UVSS client安装时320/330路径出错 对于代码改动的同步问题 QString 编码方式，显示泰文及其他语言 解决 进行抓拍时，没有判断相机是否有效，删除人脸时没有删除RTSP流的地址，因此可以抓拍到人脸相机的视频 database_processor_top.cpp line 209 修改打包的脚本 windows chcp linuxlocale可以查看系统的编
[QT_023]Qt学习之QString详解
kongcheng253的博客
01-23 7378
Qt学习之QString详解
QString的生成或编码转换
weixin_45504248的博客
11-29 429
QString的生成或编码转换
0022：Qt常用类 - QString(01，QString的编码方式和初始化)
-- You only get better by playing --
05-19 2640
1 开发环境 在介绍内容之前，先说明一下开发环境，如下图： Qt版本：Qt5.3.2； Qt开发工具：Qt Creater 3.2.1； Qt构建工具：Desktop Qt 5.3 MinGW 32bit； Qt开发平台：Windows 7 64bit。 2 QString的编码方式 在介绍QString的使用之前，先介绍一下QString的编码方式。QString采用Unicode编码方式，即...
关于Qt的字符编码问题
低调的华丽 专栏
05-31 2958
<br /> <br />QT使用Unicode来存储，绘制以及操作字符串。在很多情况下，可能想要使用不同的编码方式来处理数据。例如大部分的日语文件都被存储在 Shift-JIS或者 ISO2022的文件中，而俄罗斯的用户常常使用KOI8-R或者CP1251编码方式。QT提供了一个QTextCodec 类集合来从Unicode格式转化到相应的格式。<br /> <br />通过QTextCodec可以对程序预设编码方式，有以下三种：<br /> <br />void setCodecForCStrings(
Qt中的字符编码转换：UTF8、Unicode、GBK、ASCII、16进制字符、16进制数值
03-03
Qt字符转换，串口接收数据转为中文显示可用。Qt中的字符编码转换：UTF8、Unicode、GBK、ASCII、16进制字符、16进制数值
qt实现转换文件字符集编码
05-23
在Qt中，`QTextCodec`类是进行字符编码转换的核心工具。它可以创建并管理各种编码的解码器和编码器。例如，如果我们要将一个GBK编码的文件转换为UTF-8，我们可以这样做： ```cpp #include #include #include #...
Qt.rar_Qt字符_Qt显示字符串
09-21
例如，你可以创建一个QString对象，并通过构造函数传入字符串内容，或者使用`fromUtf8()`方法来解析UTF-8编码的字符串。 ```cpp QString str = "Hello, World!"; QString utf8Str = QString::fromUtf8("你好，世界...
文件字符编码转换
10-17
在IT领域，字符编码是处理文本数据的关键环节。字符编码决定了计算机如何存储和显示文本，尤其是在多语言环境和网络通信中。"文件字符编码转换"的主题着重于如何将不同编码格式的文件或文件夹在GBK、GB2312、Unicode...
QT C++ AES字符串加密解密类库，引入即可使用
10-27
QT C++ AES字符串加密解密类库是一种在C++编程环境中使用QT框架实现的高级加密标准（AES）加密和解密工具。QT是一个流行的开源跨平台应用开发框架，广泛应用于桌面、移动和嵌入式系统。AES是目前广泛应用的对称加密...
字符编码、QString编码、Qt界面乱码问题总结
杨建军的博客
04-16 3230
文章目录 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 一、术语解释 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterw
Qt字符串编码如何处理
m0_73443478的博客
04-19 343
Qt字符串编码如何处理
QT QString
Kiryee的博客
02-16 179
无
浅析QStringr的Unicode存储特性
JINKAI
05-11 1473
浅析QStringr的Unicode存储特性(一) 在看Qt相关的文档时，不断看到Qt对于i18n和Unicode的支持如何，一直没有个直观和底层的认识，最近写了些简单的例子，感觉结合实例能更好理解Qt内部对于字符串存储的转换机制。下面的例子都以"中文"这个简单的字符串作为示例。编译和调试工具：GCC &GDB本地locale：zh_CN.UTF-8字符 中，Unicode
如何正确转换QSTring类型字符串和UNICODE
梦想家蓝翳
04-07 1500
最近在项目中发现从文本文件中读取的QSTring类型字符串无法正确识别,经常是乱码输出,后来我发现用以下方法可以正确输出: 将QString转为char字符串 printf("%sn", (const char*)lineEdit2->text ().local8Bit()); 另外如果还是有无法识别的乱码出现,可以在代码中加入 QTextCodec *codec=QTex
彻底弄懂Qt的编码（汉字乱码问题及相关函数作用）
热门推荐
撬动未来的支点的专栏
09-09 3万+
测试1新建test工程用于测试，main.c文件内容如下：#include <QCoreApplication> #include <QDebug>int main(int argc, char *argv[]) { QCoreApplication a(argc, argv); QString str_hanzi("百度"); // 汉字 QString str_ascii(
看ros的某个节点发出的信息的linux指令
最新发布
嵌入式行业打工人，不定期更新博客。
07-11 308
在ROS (Robot Operating System) 中，如果你想查看某个特定节点发布到某个话题上的消息，你可以使用。命令，但是这将显示关于节点的一般信息，而不是它发布的消息数据。请记住，为了使用这些命令，你需要确保你的ROS环境已经被正确设置，通常是通过运行。这个命令可以让你实时地看到一个话题上发布的消息数据。确保替换上述命令中的路径为你实际的ROS工作空间路径。如果你不确定消息的类型，可以先用。如果你知道消息的类型，也可以加上。此外，如果你想查看节点的日志信息，可以使用。假设你想要查看由节点。
QT中字符编码转为16进制
07-15
在Qt中，可以使用QString的toUtf8()函数将字符串转换为UTF-8编码的字节数组，然后使用QByteArray的toHex()函数将字节数组转换为16进制字符串。 下面是一个示例代码： ```cpp QString str = "Hello, 你好"; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值