C/C++ 实现十六进制面值转字符串、字符面值转十六进制、UNICODE与GBK互转，UTF-8与GBK互转

已于 2022-12-07 20:56:46 修改
阅读量4.8k 收藏 31
点赞数 1
分类专栏： C/C++ 文章标签： 十六进制转字符串 十进制转字符串 字符串转十进制 字符串转十六进制
于 2019-06-28 15:28:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq153471503/article/details/94007521
版权

C/C++ 实现十六进制面值转字符串、字符面值转十六进制、UNICODE与GBK互转，UTF-8与GBK互转

（1）ASCII码

         ~~~~~~~~         ASCII码一共规定了128个字符的编码，比如空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。由此，当LCD显示的时候，我们就可以根据是不是大于0X80来区分是中文字符还是ASCII字符。

可显示ASCII字符范围如下，一共96个：

 !"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz{|}~

（2）非ASCII码

         ~~~~~~~~         英语用128个符号编码就够了，但是用来表示其他语言128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用ASCII码表示；还有一个更重要的问题就是每个国家的文字个数都不一样！
         ~~~~~~~~         简体中文常见的编码方式是GB2312，使用两个字节表示一个汉字，所以理论上最多可以表示256x256=65536个符号；GBK是GB2312的扩展字库，能够显示的汉字更多了。

（3）Unicode码表

         ~~~~~~~~         由于每个国家的文字编码格式都不尽相同，所以当打开一个文件的时候就得知道这个文件的编码格式，否则打开后就是显示的乱码。由此，Unicode码表应运而生，它是一个很大的文字映射集合，将全球所有国家的文字全部编码进去了，每一个文字都有一个唯一的编号，现在的规模可以容纳100多万个符号。所以，unicode码表就是各个国家字符相互转换的媒介！

（4）UTF-8编码

         ~~~~~~~~         好多人分不清unicode和UTF-8是什么关系，我这里简单的说一下。unicode只是一个映射表，而UTF-8是unicode码的存储方式。

         ~~~~~~~~         我们都耳熟能详的知道ASCII字符为1个字节，中文汉字为2个字节，但是其他国家文字可能需要3个或者4个字节才能表示一个他们国家的文字，这里就出现了严重的问题：

  1. 怎样区分ASCII和unicode，计算机怎么才能知道到底是用几个字节表示一个文字？
  2. 如果unicode统一规定每个文字用3或4个字节表示，那么对于ASCII来说它就只是一个字节的大小，严重浪费空间。

UTF8解决的问题

         ~~~~~~~~         现在有用户A是法国的，用户B是中国的，那么显然两个国家的文字不一样，现在B向A通过网络传输数据，那么流程是这样：

  1. B首先要确定A是哪一国家的(否则无法将A国的文字转为本地语言)
  2. A发送数据
  3. B接收数据
  4. B将接收到的数据转成本地语言
  5. B查看数据

         ~~~~~~~~         那么现在问题就来了，如果接收方不知道发送方是哪一国家的，那么接收到的数据就没办法转成本地语言来显示！

         ~~~~~~~~         那怎么办呢？

         ~~~~~~~~         也简单，如果说所有国家在进行网络传输的时候都按照规定使用同一种编码进行传输，那么上述流程的第一步不就省略了嘛！由此，UTF-8码就出现了。

（上述举例可能不是很准确，但是意思在这了）。

         ~~~~~~~~         目前UTF-8码在互联网上是使用最广的一种unicode的实现方式。其他实现方式还包括UTF-16和UTF-32，不过现在用的很少。

         ~~~~~~~~         UTF-8最大的一个特点，就是它是一种变长的编码方式。使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8的两条编码规则如下：

  1. 对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
  2. 对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表是编码规则，字母X表示可用编码位：

UNICODE符号范围(十六进制)UTF-8编码方式(二进制)
0X00000000~0X0000007F0xxxxxxx
0X00000080~0X000007FF110xxxxx 10xxxxxx
0X00000800~0X0000FFFF1110xxxx 10xxxxxx 10xxxxxx
0X00010000~0X0010FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

下面用汉字【你】来演示说明UTF-8的编码规则。

【你】这个汉字的unicode码是0X4F60，在0X00000800~0X0000FFFF范围内，

0X4F60二进制为【0100,1111,0110,0000】，

将这16位依次填入【1110xxxx 10xxxxxx 10xxxxxx】的x位置，

得到【111001001011110110100000】

转为十六进制：0XE4BDA0

所以【你】这个汉字的UTF-8编码就是0XE4BDA0

你可以使用这个网站验证一下是否正确：https://www.qqxiuzi.cn/bianma/Unicode-UTF.php

（5）关于GBK和UTF-8之间的互转

         ~~~~~~~~         上面已经说到了，简体中文常见的编码方式是GB2312，使用两个字节表示一个汉字，GBK是GB2312的扩展字库，涵盖的汉字更多了。

         ~~~~~~~~         GBK与UTF8之间是没有关系的，无法直接转换。但是GBK和UNICODE有关系，因为每一个GBK汉字都在UNICODE表中有一个唯一的编号，而UTF8和UNICODE可以直接转换，所以GBK转UTF-8是分两步完成的，步骤如下：

  1. 通过查unicode表获得GBK汉字在unicode码表中的编号
  2. 将GBK汉字的unicode编号转为UTF-8编码

而UTF-8转GBK就是上述两步的逆向操作。

（6）C实现的编码转换

unicode和gbk之间的码表很大，就不贴源码了，光贴个头文件，源码自取：https://gitee.com/jhuangBTT/textcodec

/*
 * textcodec.h
 *
 *  Created on: 2022年12月7日
 *      Author: lakun@qq.com
 */

#ifndef TEXTCODEC_H_
#define TEXTCODEC_H_

#ifdef __cplusplus
extern "C" {
#endif

#include <stdint.h>


/**
 * 十六进制面值转字符串，例：{0XAA,0XBB,0XCC} -> "AABBCC"
 * @param from 待转换的十六进制数据
 * @param fromSize 待转换的十六进制数据大小
 * @param to 存放转换的字符串
 * @param toSize 存放转换的字符串的大小
 */
void HexToStr(const uint8_t* from, uint32_t fromSize, char* to, uint32_t* toSize);


/**
 * 十六进制字符串转数值，例："AABBCC" -> {0XCC,0XBB,0XAA}
 * @param from 待转换的十六进制字符串
 * @param fromSize 字符串长度
 * @param to 存放字符串的十六进制值
 * @param toSize 存放字符串的十六进制值的大小
 */
void StrToHex(const char* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);


/**
 * @brief GBK码转UTF8码
 * @param from GBK码
 * @param fromSize GBK码的大小
 * @param to UTF8码
 * @param toSize UTF8码的大小
 */
void GBKToUTF8(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);


/**
 * @brief UTF8码转GBK码
 * @param from UTF8码
 * @param fromSize UTF8码的大小
 * @param to GBK码
 * @param toSize GBK码大小
 */
void UTF8ToGBK(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);


/**
 * @brief GBK码转双字节UNICODE码
 * @param from GBK码
 * @param fromSize GBK码大小
 * @param to UNICODE码
 * @param toSize UNICODE码大小
 */
void GBKToUnicode(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);


/**
 * @brief 双字节UNICODE码转GBK码
 * @param from 双字节UNICODE码
 * @param fromSize UNICODE码大小
 * @param to GBK码
 * @param toSize GBK码大小
 */
void UnicodeToGBK(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);


/**
 * @brief 三字节UTF8码转双字节UNICODE码
 * @param from UTF8码
 * @param fromSize UTF8码大小
 * @param to GBK码
 * @param toSize GBK码大小
 */
void UTF8ToUnicode(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);

/**
 * @brief 双字节UNICODE码转三字节UTF8码
 * @param from
 * @param fromSize
 * @param to
 * @param toSize
 */
void UnicodeToUTF8(const uint8_t* from, uint32_t fromSize, uint8_t* to, uint32_t* toSize);

#ifdef __cplusplus
}
#endif

#endif /* TEXTCODEC_H_ */

测试程序：

/*
 * main.c
 *
 *  Created on: 2022年12月7日
 *      Author: hello
 */


#include "textcodec.h"
#include <string.h>
#include <stdio.h>

int main()
{
	const char* text = "你好ABC世界";            /* 注意：当前文件的编码格式为UTF-8 */
	uint32_t utf8Size, unicodeSize, gbkSize;
	uint8_t utf8[64];
	uint8_t unicode[64];
	uint8_t gbk[64];

	//
	// 打印原始数据：本文件是UTF-8编码的
	//
	printf(" ------ byte array in UTF8 format: ");
	for(int i = 0; i < strlen(text); i++)
	{
		printf("0x%02X,", text[i] & 0XFF);
	}
	printf("\n");

	//
	// UTF8转UNICODE
	//
	printf(" ------ utf8 to unicode : ");
	UTF8ToUnicode((const uint8_t *)text, strlen(text), unicode, &unicodeSize);
	for(int i = 0; i < unicodeSize; i++)
	{
		printf("0x%02X,", unicode[i] & 0XFF);
	}
	printf("\n");

	//
	// UTF8转GBK
	//
	UTF8ToGBK((const uint8_t *)text, strlen(text), gbk, &gbkSize);
	printf(" ------ utf8 to gbk     : ");
	for(int i = 0; i < gbkSize; i++)
	{
		printf("0x%02X,", gbk[i] & 0XFF);
	}
	printf("\n");

	//
	// GBK转UNICODE
	//
	printf(" ------ gbk  to unicode : ");
	GBKToUnicode((const uint8_t *)gbk, gbkSize, unicode, &unicodeSize);
	for(int i = 0; i < unicodeSize; i++)
	{
		printf("0x%02X,", unicode[i] & 0XFF);
	}
	printf("\n");

	//
	// GBK转UTF8
	//
	GBKToUTF8(gbk, gbkSize, utf8, &utf8Size);
	printf(" ------ gbk  to utf8    : ");
	for(int i = 0; i < utf8Size; i++)
	{
		printf("0x%02X,", utf8[i] & 0XFF);
	}
	printf("\n");

	//
	// UNICODE转UTF8
	//
	UnicodeToUTF8(unicode, unicodeSize, utf8, &utf8Size);
	printf(" ------ unicode to utf8 : ");
	for(int i = 0; i < utf8Size; i++)
	{
		printf("0x%02X,", utf8[i] & 0XFF);
	}
	printf("\n");

	//
	// unicode转gbk
	//
	UnicodeToGBK(unicode, unicodeSize, gbk, &gbkSize);
	printf(" ------ unicode to gbk  : ");
	for(int i = 0; i < gbkSize; i++)
	{
		printf("0x%02X,", gbk[i] & 0XFF);
	}
	printf("\n");

	//
	// HEX转STR
	//
	uint8_t hex[3] = {0XAA, 0XBB, 0XCC};
	uint32_t hexSize;
	char     str[32];
	uint32_t strSize;
	HexToStr(hex, 3, str, &strSize);
	printf(" ------ HEX TO STR: %s \n", str);

	//
	// STR转HEX
	//
	StrToHex(str, strSize, hex, &hexSize);
	printf(" ------ STR TO HEX: 0x%02X,0x%02X,0x%02X \n", hex[0], hex[1], hex[2]);

	return 0;
}

运行结果：

 ------ byte array in UTF8 format: 0xE4,0xBD,0xA0,0xE5,0xA5,0xBD,0x41,0x42,0x43,0xE4,0xB8,0x96,0xE7,0x95,0x8C,
 ------ utf8 to unicode : 0x60,0x4F,0x7D,0x59,0x41,0x00,0x42,0x00,0x43,0x00,0x16,0x4E,0x4C,0x75,
 ------ utf8 to gbk     : 0xC4,0xE3,0xBA,0xC3,0x41,0x42,0x43,0xCA,0xC0,0xBD,0xE7,
 ------ gbk  to unicode : 0x60,0x4F,0x7D,0x59,0x41,0x00,0x42,0x00,0x43,0x00,0x16,0x4E,0x4C,0x75,
 ------ gbk  to utf8    : 0xE4,0xBD,0xA0,0xE5,0xA5,0xBD,0x41,0x42,0x43,0xE4,0xB8,0x96,0xE7,0x95,0x8C,
 ------ unicode to utf8 : 0xE4,0xBD,0xA0,0xE5,0xA5,0xBD,0x41,0x42,0x43,0xE4,0xB8,0x96,0xE7,0x95,0x8C,
 ------ unicode to gbk  : 0xC4,0xE3,0xBA,0xC3,0x41,0x42,0x43,0xCA,0xC0,0xBD,0xE7,
 ------ HEX TO STR: AABBCC 
 ------ STR TO HEX: 0xAA,0xBB,0xCC

ends…

Go 学习笔记（31）— 字符串 string、字符 rune、字节 byte、UTF-8 和 Unicode 区别以及获取字符串长度
wohu1104的专栏
05-18 7690
1. 字符串 string 类型 Go 语言中字符串的内部实现使用 UTF-8 编码，通过 rune 类型，可以方便地对每个 UTF-8 字符进行访问。当然， Go 语言也支持按照传统的 ASCII 码方式逐字符进行访问。 字符串是常量，可以通过类似数组索引访问其字节单元，但是不能修改某个字节的值； var a string = "hello,world" b := a[0] a[1] = "a" // error 内置的 len 函数可以返回一个字符串中的字节数目（不是 rune 字符数目）
utf-8 utf-16对比windows系统下wchar_t和char中文字符的二进制对比
ustb_atrx的博客
12-25 2924
对比的源程序(cpp) : // 针对汉字的utf-8 和utf-16对比 #include "stdafx.h" #include "windows.h" #include #include #include using namespace std; int _tmain(int argc, _TCHAR* argv[]) {     char *pc = "中
C++ Unicode、Utf8、GBK编码之间转换
xunmeng2002的专栏
06-09 3188
C++标准库从C++11开始提供了std::codecvt_utf8和std::codecvt_byname两个转换器来完成编码转换，其中std::codecvt_utf8用于 utf8编码与unicode之间的转换，GBK与unicode之间的转换则需要通过std::codecvt_byname 来完成，并需要指定locale_name参数，此参数windows与linux下并不相同。
C++ 16进制和字符串批量转换
05-22
满足混合字符串（汉字和数字等字符）批量（非一个字符一个字符），转换为16进制；同样支持16进制转换为字符串，C++代码； 在VS2010上编码测试可运行。可用于串口通信数据编码。
Unicode转GBK：编码转换的深入解析
最新发布
weixin_42599558的博客
09-13 1354
本文还有配套的精品资源，点击获取 简介：字符编码是计算机系统存储和处理文本的关键。本文深入探讨Unicode转GBK的过程，包括Unicode和GBK编码的定义、工作原理及转换方法。Unicode旨在包括全球所有文字系统，而GBK是中国大陆的中文字符扩展编码。转换涉及编码转换算法，处理Unicode码点与GBK字节序列的转换，不支持的字符可能丢失或替换。在实际应用中，如中文...
C++中将十六进制数转化为字符串数据
qq_21155583的博客
10-11 4200
【代码】C++中将十六进制数转化为字符串数据。
C++ 十六进制数转字符串
weixin_43130406的博客
10-11 589
使用位与提取高4位和低4位，再分别判断转为字符
c++ 十六进制转字符串(ASCII码)
u013925378的博客
07-28 9889
在网络通信中经常用到16进制和ASCII码字符数组互相转换的功能，完整代码如下： #include <iostream> using namespace std; unsigned int ssstrlen(const char *str) { const char *cp = str; while(*cp++); return (cp - str -1); } int hex2char(uint8_t c) { return ((c >= '0') &...
C++实现16进制和字符串的转换
fangqingivu的专栏
03-25 2666
字符串转16进制。 bool STR2HEX( const char* psrc, int srclen, char* pdst, int dstlen ) { if( dstlen < srclen / 2 ) return false; for( int idx = 0; idx < srclen; idx += 2 ) { sscanf_s( psrc + idx, "%2hhx", pdst + idx / 2 ); //%2
char与wchar_t字符串
jiyanglin的博客
10-10 1983
C++里的字符串类型是比较二的，因为有太多表示方法：char*、string、字符串数组、wchar_t*、wstring，今天就来缕一缕这些玩意。 char* char* 貌似是C++字符串最基础最核心的。 看以下四个字符串声明及输出结果： 先说说核心，C里面的字符串就是一连串内存，以内存为0的字节作为结尾。 来分析一下代码，其中str1、str3、str4是一个东西（str3区别只是内存在堆上），str2是字面值常量，str5是单纯的字符数组。 常规字符串 对于str1、.
GESP C++三级试卷2023年6月
m0_74586426的博客
11-28 1285
GESP C++三级试卷2023年6月+参考答案
十六进制与字符串互转
09-25
简单的两个函数： 一个将十六进制转换成字符串， 一个将字符串转换成十六进制数值。 VC实现。
十六进制转字符串工具
05-08
十六进制转字符串工具
Unicode转GBK
05-11
Unicode和GBK编码之间相互转换的编码表实现
C++实现数字转换为十六进制字符串的方法
01-01
本文实例讲述了C++实现数字转换为十六进制字符串的方法。分享给大家供大家参考。具体如下： function toHex(number, min) { var hexes = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F']; var hex = ''; var min = min || 2; var nibble; do { nibble = number & 0x0f; number = number >> 4; hex = hex
Unicode转换成GBK
04-26
该函数实现Unicode转换成GBK功能，非常适用
Qt5中的字符串乱码问题
菜鸟天路
11-29 5834
先例举几种Qt5中QString使用汉字的可能方法与结果： (以下结果适用用MSVC编译，工程使用Unicode字符集或多字节字符集的情况)  //可以看出，与工程使用何种字符集无关 测试代码 源文件ASCII编码保存 源文件UTF-8无BOM保存 源文件UTF-8且有BOM保存 (需要使用VS2010SP1且加入 #pragram executio
[C++]十六进制和字符串互相转化
热门推荐
weixin_47610359的博客
06-21 1万+
[C++]十六进制和字符串互相转化
C/C++ —— 十六进制类型字符串的转换
jscese
09-04 9701
在实际工作中，字符串和其它数据类型的转换是很常见的，库函数有很多，比如 atoi , strtol , sscanf 等,这些函数网上有很多资料， 我经常用到的就是十六进制的数值以字符串的形式传输，然后又要解析，这里记录一下我这边的做法： 将2个字节的十六进制的字符串转成short int 2个字节的整形数据：
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

觉皇嵌入式

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值