C++代码判断字符编码类型及编码格式转换(utf-8、gbk)

最新推荐文章于 2024-01-31 16:05:23 发布
最新推荐文章于 2024-01-31 16:05:23 发布
阅读量1.1w 收藏 49
点赞数 9
文章标签： C/C++ utf-8 gbk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38595946/article/details/103128955
版权

这篇文章主要是将go语言实现的版本改为C/C++版本实现，主要思路是一样的，具体思路请看:
GO代码实现判断字符编码格式及编码格式转换（utf-8、gbk）
而本文更主要说明windows及linux平台下utf-8与gbk的转换。

判断是否是gbk

bool isGBK(unsigned char* data, int len)  {
    int i  = 0;
    while (i < len)  {
        if (data[i] <= 0x7f) {
            //编码小于等于127,只有一个字节的编码，兼容ASCII
            i++;
            continue;
        } else {
            //大于127的使用双字节编码
            if  (data[i] >= 0x81 &&
                data[i] <= 0xfe &&
                data[i + 1] >= 0x40 &&
                data[i + 1] <= 0xfe &&
                data[i + 1] != 0xf7) {
                i += 2;
                continue;
            } else {
                return false;
            }
        }
    }
    return true;
}

判断是否是utf-8

int preNUm(unsigned char byte) {
    unsigned char mask = 0x80;
    int num = 0;
    for (int i = 0; i < 8; i++) {
        if ((byte & mask) == mask) {
            mask = mask >> 1;
            num++;
        } else {
            break;
        }
    }
    return num;
}


bool isUtf8(unsigned char* data, int len) {
    int num = 0;
    int i = 0;
    while (i < len) {
        if ((data[i] & 0x80) == 0x00) {
            // 0XXX_XXXX
            i++;
            continue;
        }
        else if ((num = preNUm(data[i])) > 2) {
        // 110X_XXXX 10XX_XXXX
        // 1110_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_0XXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_10XX 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_110X 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // preNUm() 返回首个字节8个bits中首�?0bit前面1bit的个数，该数量也是该字符所使用的字节数        
        i++;
        for(int j = 0; j < num - 1; j++) {
            //判断后面num - 1 个字节是不是都是10开
            if ((data[i] & 0xc0) != 0x80) {
                    return false;
                }
                i++;
        }
    } else {
        //其他情况说明不是utf-8
        return false;
    }
    } 
    return true;
}

utf-8 与 gbk 互转

1. windows

windows 下utf-8与gbk的转换借助Unicode编码来实现，这篇博客[https://www.jianshu.com/p/42d275097336]讲得很详细。主要过程即：
utf-8 >> unicode >> gbk
gbk >> unicode >> utf-8
通过window提供的API（包含在windows.h中）：MultiByteToWideChar()和MultiByteToWideChar()两个函数实现的。官方明确提醒使用这两个函数要十分小心可能发生的内存溢出问题，例如一个本来为2字节的字符串转换后变成4字节了，如果只分配原来字符串的空间大小，必然会发生内存溢出。
解决办法：先调用一次求出需要的字符串空间长度，分配好空间后再调用一次完成转换。具体请参考下面的用例。

2. linux

linux下通过 iconv.h 提供的API来进行转换在这里插入代码片
主要有三个API:

//指定转换类型，返回一个转换描述符，iconv_open("GBK", "UTF-8") 将utf-8字符串转为gbk，
//可以转化的类型可以通过指令 iconv --list 查看。
iconv_t iconv_open(const char *tocode, const char *fromcode);

//inbuf ，outbuf分别传入指向buff的指针的地址，outbf调用后指向buff中已保存字符串的末尾，即结束符；
//inbytesleft是一个输入输出参数，传入一个保存有需转换字符串长度的变量的地址，成功调用后该变量为0，表示字符串所有字节均已被转换；
//outbytesleft是一个输入输出参数，传入一个保存outbuf总长度的变量的地址，调用结束后该变量保存outbuf剩下的可用长度。
size_t iconv(iconv_t cd,
             char **inbuf, size_t *inbytesleft,
             char **outbuf, size_t *outbytesleft);
//关闭打开的转换描述符
iconv_close(cd);

windows/linux 跨平台用例

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#ifdef WIN32
#include <windows.h>
#else
#include <iconv.h> 
#endif

int preNUm(unsigned char byte) {
    unsigned char mask = 0x80;
    int num = 0;
    for (int i = 0; i < 8; i++) {
        if ((byte & mask) == mask) {
            mask = mask >> 1;
            num++;
        } else {
            break;
        }
    }
	return num;
}


bool isUtf8(unsigned char* data, int len) {
    int num = 0;
    int i = 0;
    while (i < len) {
        if ((data[i] & 0x80) == 0x00) {
            // 0XXX_XXXX
            i++;
			continue;
        }
        else if ((num = preNUm(data[i])) > 2) {
        // 110X_XXXX 10XX_XXXX
        // 1110_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_0XXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_10XX 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // 1111_110X 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX 10XX_XXXX
        // preNUm() 返回首个字节8个bits中首�?0bit前面1bit的个数，该数量也是该字符所使用的字节数        
        i++;
        for(int j = 0; j < num - 1; j++) {
            //判断后面num - 1 个字节是不是都是10开
            if ((data[i] & 0xc0) != 0x80) {
					return false;
				}
				i++;
        }
    } else {
        //其他情况说明不是utf-8
        return false;
    }
    } 
    return true;
}

bool isGBK(unsigned char* data, int len)  {
	int i  = 0;
	while (i < len)  {
		if (data[i] <= 0x7f) {
			//编码小于等于127,只有一个字节的编码，兼容ASCII
			i++;
			continue;
		} else {
			//大于127的使用双字节编码
			if 	(data[i] >= 0x81 &&
				data[i] <= 0xfe &&
				data[i + 1] >= 0x40 &&
				data[i + 1] <= 0xfe &&
				data[i + 1] != 0xf7) {
				i += 2;
				continue;
			} else {
				return false;
			}
		}
	}
	return true;
}
typedef enum {
    GBK,
    UTF8,
    UNKOWN
} CODING;
//需要说明的是，isGBK()是通过双字节是否落在gbk的编码范围内实现的，
//而utf-8编码格式的每个字节都是落在gbk的编码范围内�?
//所以只有先调用isUtf8()先判断不是utf-8编码，再调用isGBK()才有意义
CODING GetCoding(unsigned char* data, int len) {
    CODING coding;
    if (isUtf8(data, len) == true) {
        coding = UTF8;
	} else if (isGBK(data, len) == true) {
		coding = GBK;
	} else {
		coding = UNKOWN;
	}
    return coding;
}
int main() {
    char src[512] = "你好";
    int len = strlen(src);
    //printf("%s, len:%d\n",src, len);
    char dstgbk[512] = {0};
    char dstutf8[512] = {0};
    printf("coding:%d\n", GetCoding((unsigned char*)src, len));   //判断是否是utf-8
    #ifndef WIN32
    iconv_t  cd;
    char* pSrc = src;
    char* pUTFOUT = dstutf8;
    char* pGBKOUT = dstgbk;
    size_t srcLen = (size_t)len;
    size_t outLenUTF = sizeof(dstutf8);
    size_t outLenGBK = sizeof(dstgbk);
    size_t ret;
    #endif
    #ifdef WIN32
    wchar_t * pUnicodeBuff = NULL;
    int rlen = 0;
    rlen = MultiByteToWideChar(CP_UTF8, 0, src, -1, NULL ,NULL);
    pUnicodeBuff =  new WCHAR[rlen + 1];  //为Unicode字符串空间
    rlen = MultiByteToWideChar(CP_UTF8, 0, src, -1, pUnicodeBuff, rlen); 
    rlen = WideCharToMultiByte(936, 0, pUnicodeBuff, -1, NULL, NULL, NULL, NULL); //936 为windows gb2312代码页码
    WideCharToMultiByte(936, 0, pUnicodeBuff ,-1, dstgbk, rlen, NULL ,NULL);
    delete[] pUnicodeBuff;
    #else
    cd = iconv_open("GBK", "UTF-8");
    if (cd == (iconv_t)-1) {
        printf("iconv_open error\n");
    }
    ret = iconv(cd, &pSrc, &srcLen, &pGBKOUT, &outLenGBK);
    iconv_close(cd);
    #endif

    //printf("%s, len:%d\n",dstgbk, strlen(dstgbk));
    printf("coding:%d\n", GetCoding((unsigned char*)dstgbk, strlen(dstgbk)));   //判断是否是gbk

    #ifdef WIN32
    rlen = MultiByteToWideChar(936, 0, dstgbk, -1, NULL, NULL);
    pUnicodeBuff =  new WCHAR[rlen + 1];  //为Unicode字符串空间
    rlen = MultiByteToWideChar(936, 0, dstgbk, -1, pUnicodeBuff, rlen); 
    rlen = WideCharToMultiByte(CP_UTF8, 0, pUnicodeBuff, -1, NULL, NULL, NULL, NULL);
    WideCharToMultiByte(CP_UTF8, 0, pUnicodeBuff, -1, dstutf8, rlen, NULL, NULL);
    delete[] pUnicodeBuff;
    #else
    cd = iconv_open("UTF-8", "GBK");
    if (cd == (iconv_t)-1) {
        printf("iconv_open error\n");
    }
    //pSrc = pGBKOUT; 错误，上面调用过一次此时iconv()后，pGBKOUT指向的是dstgbk[512]可用的位置，
    //即dstgbk[512]保存gbk字符串的后一位，也就是结束符的位置
    pSrc = dstgbk;
    srcLen = strlen(dstgbk);
    ret = iconv(cd, &pSrc, &srcLen, &pUTFOUT, &outLenUTF);
    iconv_close(cd);
    #endif

    //printf("%s, len:%d\n",dstutf8, strlen(dstutf8));
    printf("coding:%d\n", GetCoding((unsigned char*)dstutf8, strlen(dstutf8)));   //判断是否是utf-8
    getchar();
}

windows结果.png
linux结果.png

打印出枚举类型1,0,1，代表utf-8,gbk,utf-8

Bubblegarden
关注
  • 9
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
详解C++中的ANSI、Unicode和UTF8三种字符编码及相互转换
dvlinker的技术专栏
06-08 1万+
本文详细介绍ANSI、Unicode和UTF8三种字符编码以及它们之间的相互转换，并给出了实际问题实例。
GBK 与 UTF-8 间编码转换
01-11
总是碰到utf8编码与gbk编码间的互转，开始用ultraedit自己另存设置，文件多了太麻烦，自己写了一个小程序来处理，用vs2017写的，需要安装运行环境，已经安装的可以免了
c++判断是否是utf-8编码
酷云的csdn
10-09 870
#include <bits/stdc++.h> using namespace std; class Solution { public: bool validUtf8(vector<int>& data) { int cnt = 0; for(int i = 0; i <data.size(); i++){ int x = data[i]; if(!cnt){ if((x >> 5) == 0b110){ cnt = 1; } e
C++实现判断一个字符串是否为UTF8或GBK格式的方法
乌托邦
11-21 8888
本文实例讲述了C++实现判断一个字符串是否为UTF8或GBK格式的方法。分享给大家供大家参考，具体如下： 在处理外部数据的时候，很可能因为数据格式不一样而导致乱码，甚至导致某些程序挂掉。鉴于对多数系统来说，使用是更被广泛使用的utf8，所以判断是不是utf8格式显得很重要了。 下面是一个判断字符串是否为utf8的函数： bool is_str_utf8(const char* str) {...
c++读取UTF8编码文件乱码
qq_41529799的博客
01-29 3320
我由于需要将某一文件的空行删掉，反正闲着无聊，就准备自己写个代码实现。本来应该就那么几行就可以解决的，结果却发现是乱码。然后，本来几分钟就ok的事，我花了一整个下午的时间才解决。果然写代码才是最好的消磨时间的方法。 解决方案一：把要改的文件另存为ANSI编码就不会乱码。 解决方案二： string UTF8ToANSI(const char *str) { string res; wc...
c++判断字符串是否为utf8编码
最新发布
ljy338的博客
01-31 1033
如果想要查看文本文件的编码方式，可以用记事本打开文件，然后选择"另存为"菜单，即可查看当前的编码方式。在windows平台下，win7系统文本文件默认为ANSI即多字节编码，而win10和win11默认为utf-8编码。不论是ANSI，还是UTF-8，在打开文件之前，都无法得知其编码方式。常用的方法是先按照ANSI读取，然后判断字符串是否UTF-8编码，如果是，再转换为ANSI编码。1、bool IsUTF8 = false，默认为非UFT8，直到遇到UFT8为止，这样更加准确。
UTF8编码规则及用C++语言的识别
zzqhost的专栏
05-29 1497
UTF-8编码规则 UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。  如表：  1字节 0xxxxxxx  2字节 110xxxxx 10xxxxxx  3字节 1110xxxx 10xxxx
C++读取和处理UTF-8格式文件的方法
iteye_8600的博客
08-27 3012
关于UTF-8、GB2313、ANSI、UNICODE的编码问题，在此不多说，百度上资料很多的。 以下为源代码： [code="c++"] // UtfFile.h: interface for the UtfFile class. // ////////////////////////////////////////////////////////////////////// #...
C++字符串(UTF-8编码)中识别中文、英文字母、字符、空格
Rurcher的博客
05-19 3858
这里写自定义目录标题UTF-8字节编码规则新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 UTF-8字节编码规则 一字节编码范围：0x00-0x7F 二字节编码范围：0xC2-0xDF 0x80-0xBF 三字节编码范围
C++ UTF-8编码识别(分析文件内容，非文件头)
新爷的专栏
08-16 5515
<br />C++ UTF-8编码识别<br /><br />转载请注明原创作者刘志远<br />http://blog.csdn.net/liuzhiyuan1982<br /><br />UTF-8编码的文本文档，有的带有BOM (Byte Order Mark, 字节序标志)，即0xEF, 0xBB, 0xBF，有的没有。Windows下的文本编辑器在保存UTF-8格式的文本文档时会自动添加BOM到文件头。在判断这类文档时，可以根据文档的前3个字节来进行判断。然而BOM不是必需的，而且也不是推荐的。对
UTF-8编码转GBK编码
12-28
在IT行业中，字符编码是...总的来说，从UTF-8到GBK的转换涉及到字符编码的深入理解和操作，尤其在单片机这样的受限环境中，需要考虑到资源效率和错误处理。理解这些概念和转换机制对于进行跨平台的文本处理至关重要。
gbk-utf8:GBK转换为UTF-8，反之亦然
05-02
GBK和UTF-8是两种广泛使用的字符编码格式，特别是在中文环境下。接下来，我们将详细探讨这两种编码方式，以及如何在C语言中进行它们之间的转换。 首先，GBK（Great Chinese Bible）是一种针对简体中文和繁体中文的...
utf-8.rar_c++ string utf-8_string to utf-8_utf_utf 8_utf-8
09-24
然而，如果你从其他编码格式（如ASCII或GBK）转换到UTF-8，就需要使用编码转换函数。例如，可以使用iconv库进行这样的转换。 在处理UTF-8字符串时，常见的操作包括： 1. **字符遍历**：由于UTF-8的多字节特性，...
字符串UTF-8和GBK之间的转换以及判定
weixin_34280237的博客
11-09 366
一、判定字符串是否是UTF-8的编码 bool is_str_utf8(const char* str) { unsigned int nBytes = 0;//UFT8可用1-6个字节编码,ASCII用一个字节 unsigned char chr = *str; bool bAllAscii = true; for (unsigned i...
c++读取utf8等不同编码文件
热门推荐
一蓑烟雨的专栏
09-18 1万+
今天写程序的时候遇到文件打开乱码的情况，我用notepad++打开发现是utf8编码的，后来上网查了一下，utf8是变长的，一般情况下文件开头有个BOM（Byte Order Mark）作为标识，一般文本编码的BOM: ANSI：没有BOM，直接是内容。 UNICODE（LE）：FF FE UNICODE（BE）：FE FF UTF-8：EF BB BF 注：还有一种无BOM
C++中将字符串转换为utf-8
weixin_42608318的博客
01-17 1336
在 C 中将字符串转换为 UTF-8 编码可以使用 iconv 函数。使用方法如下： #include <iconv.h> iconv_t cd = iconv_open("UTF-8", "original_encoding"); size_t in_len = original_string_length; size_t out_len = calculate_output_bu...
使用C++读取UTF8及GBK系列的文本方法及原理
weixin_33725270的博客
03-28 952
作者：jostree转载请注明出处http://www.cnblogs.com/jostree/p/4374404.html 1.读取UTF-8编码文本原理 首先了解UTF-8的编码方式,UTF-8采用可变长编码的方式，一个字符可占1字节-6字节，其中每个字符所占的字节数由字符开始的1的个数确定，具体的编码方式如下： U-00000000 - U-0000007F: 0xxxxxxx U...
ARDUINO通过查表的方法将字符串中的GBK编码转换成UTF-8编码
05-30
Arduino本身并没有直接支持将字符串中的GBK编码转换成UTF-8编码的功能，但可以通过自己编写代码来实现。 一种可能的方法是使用一个GBK转UTF-8的查表函数，将字符串中每个字符的GBK编码转换成对应的UTF-8编码，然后将转换后的字符拼接成新的字符串。 以下是一个示例代码，该代码定义了一个名为GBK2UTF8的函数，可以将一个GBK编码的字符串转换成UTF-8编码的字符串： ```c++ byte high, low; String GBK2UTF8(String gbkstr) { String utf8str = ""; int i = 0; while (i < gbkstr.length()) { high = gbkstr[i]; low = gbkstr[i+1]; if (high < 0x80) { utf8str += char(high); i++; } else { utf8str += char((high >> 2) | 0xC0); utf8str += char(((high & 0x03) << 6) | (low & 0x3F)); i += 2; } } return utf8str; } ``` 使用示例： ```c++ String gbkstr = "中国"; String utf8str = GBK2UTF8(gbkstr); Serial.println(utf8str); ``` 输出结果为： ``` 中国 ``` 需要注意的是，该方法只能转换纯GBK编码的字符串，如果字符串中包含其他编码，如GB2312等，可能会出现错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值