C++中文字符处理

最新推荐文章于 2024-08-17 17:51:17 发布
最新推荐文章于 2024-08-17 17:51:17 发布
阅读量4.6k 收藏 15
点赞数 5
分类专栏： C++学习 文章标签： c++ 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012477435/article/details/106752021
版权

文章目录

一、中文字符串

  • 问题来源：
    中文字符长度不固定，按字节处理往往出现乱码或错误分割。在unicode中每个中文为2个字节，而中文中间夹杂的英文和半角标点则仍然是1个字节。
  • 解决方案：
    构造三层逻辑结构：输入层、逻辑处理层、输出层。
    – 输入层接收char输入，并将其转换为wchar.
    – 逻辑处理层在 wchar* 或 wstring 的基础上进行字符串操作，此时操作最小单位为中文字符，不会再有乱码。
    – 输出层将wchar的结果再次转换为char ，返回给外部。
    这样，对外部来说，仍然是输入char*, 输出char*， 但在这个过程中不再有分割汉字的操作或乱码。
#include <iostream>
#include <string>
using namespace std;

wchar_t* MBCS2Unicode(wchar_t * buff, const char * str)

{

    wchar_t * wp = buff;

    char * p = (char *)str;

    while (*p)

    {

        if (*p & 0x80)

        {

            *wp = *(wchar_t *)p;

            p++;

        }

        else {

            *wp = (wchar_t)*p;

        }

        wp++;

        p++;

    }

    *wp = 0x0000;

    return buff;

}

char * Unicode2MBCS(char * buff, const wchar_t * str)

{

    wchar_t * wp = (wchar_t *)str;

    char * p = buff, *tmp;

    while (*wp) {

        tmp = (char *)wp;

        if (*wp & 0xFF00) {

            *p = *tmp;

            p++; tmp++;

            *p = *tmp;

            p++;

        }

        else {

            *p = *tmp;

            p++;

        }

        wp++;

    }

    *p = 0x00;

    return buff;

}

wstring str2wstr(string str)

{

    size_t len = str.size();

    wchar_t * b = (wchar_t *)malloc((len + 1) * sizeof(wchar_t));

    MBCS2Unicode(b, str.c_str());

    wstring r(b);

    free(b);

    return r;

}

int wputs(const wchar_t * wstr);

int wputs(wstring wstr)

{

    wputs(wstr.c_str());

    return 0;

}

int wputs(const wchar_t * wstr)

{
    int len = wcslen(wstr);

    char * buff = (char *)malloc((len * 2 + 1) * sizeof(char));

    Unicode2MBCS(buff, wstr);

    printf("%s", buff);

    free(buff);

    return 0;

}

string wstr2str(wstring wstr)

{

    size_t len = wstr.size();

    char * b = (char *)malloc((2 * len + 1) * sizeof(char));

    Unicode2MBCS(b, wstr.c_str());

    string r(b);

    free(b);

    return r;



int main()

{

    //输入层：接收char*输入，并将其转换为wchar*

    string input = "今天你在武汉！！";

    string temp = "在";

    //逻辑层在whcar*或wstring的基础上进行字符串操作，此时操作最小单位为中文字符，不会再有乱码。

    wstring buff = str2wstr(input);

    wstring temp_buff = str2wstr(temp);

    cout << "input的中文个数:"<<wcslen(buff.c_str()) << "   temp的中文个数:" << wcslen(temp_buff.c_str()) << endl;

    cout << "判断input第三个是否是'在':" << (buff[3] == temp_buff[0]) << endl;;

    //输出层将wchar*的结果再次转换为char*，返回给外部

    wputs(buff);

    return 0;

}

二、c++几种编码之前的转换

.h

#pragma once  
#include "stdafx.h"  
#include "windows.h"  
#include <iostream>  
#include <string>  
using namespace std;  
  
//**************string******************//  
// ASCII与Unicode互转  
wstring AsciiToUnicode(const string& str);  
string  UnicodeToAscii(const wstring& wstr);  
// UTF8与Unicode互转  
wstring Utf8ToUnicode(const string& str);  
string  UnicodeToUtf8(const wstring& wstr);  
// ASCII与UTF8互转  
string  AsciiToUtf8(const string& str);  
string  Utf8ToAscii(const string& str);  
string Utf8ToAnsi(const char* su8);
//**************CString******************//  
// ASCII与Unicode互转  
CStringW    AsciiToUnicode_CSTR(const CStringA& str);  
CStringA    UnicodeToAscii_CSTR(const CStringW& wstr);  
// UTF8与Unicode互转  
CStringW    Utf8ToUnicode_CSTR(const CStringA& str);  
CStringA    UnicodeToUtf8_CSTR(const CStringW& wstr);  
// ASCII与UTF8互转  
CStringA    AsciiToUtf8_CSTR(const CStringA& str);  
CStringA    Utf8ToAscii_CSTR(const CStringA& str);  
/************string-int***************/  
// string 转 Int  
int StringToInt(const string& str);  
string IntToString(int i);  
string IntToString(char i);  
string IntToString(double i);

.cpp

#pragma once  
#include "stdafx.h"  
#include "UTN.h"  
  
wstring AsciiToUnicode(const string& str) {  
    // 预算-缓冲区中宽字节的长度    
    int unicodeLen = MultiByteToWideChar(CP_ACP, 0, str.c_str(), -1, nullptr, 0);  
    // 给指向缓冲区的指针变量分配内存    
    wchar_t *pUnicode = (wchar_t*)malloc(sizeof(wchar_t)*unicodeLen);  
    // 开始向缓冲区转换字节    
    MultiByteToWideChar(CP_ACP, 0, str.c_str(), -1, pUnicode, unicodeLen);  
    wstring ret_str = pUnicode;  
    free(pUnicode);  
    return ret_str;  
}  
string UnicodeToAscii(const wstring& wstr) {  
    // 预算-缓冲区中多字节的长度    
    int ansiiLen = WideCharToMultiByte(CP_ACP, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);  
    // 给指向缓冲区的指针变量分配内存    
    char *pAssii = (char*)malloc(sizeof(char)*ansiiLen);  
    // 开始向缓冲区转换字节    
    WideCharToMultiByte(CP_ACP, 0, wstr.c_str(), -1, pAssii, ansiiLen, nullptr, nullptr);  
    string ret_str = pAssii;  
    free(pAssii);  
    return ret_str;  
}  
wstring Utf8ToUnicode(const string& str) {  
    // 预算-缓冲区中宽字节的长度    
    int unicodeLen = MultiByteToWideChar(CP_UTF8, 0, str.c_str(), -1, nullptr, 0);  
    // 给指向缓冲区的指针变量分配内存    
    wchar_t *pUnicode = (wchar_t*)malloc(sizeof(wchar_t)*unicodeLen);  
    // 开始向缓冲区转换字节    
    MultiByteToWideChar(CP_UTF8, 0, str.c_str(), -1, pUnicode, unicodeLen);  
    wstring ret_str = pUnicode;  
    free(pUnicode);  
    return ret_str;  
}  

string Utf8ToAnsi(const char* su8){
	int wcsLen = ::MultiByteToWideChar(CP_UTF8, NULL, su8, strlen(su8), NULL, 0);
	wchar_t* wszMultiByte = new wchar_t[wcsLen+1];
	::MultiByteToWideChar(CP_UTF8, NULL, su8, strlen(su8), wszMultiByte, wcsLen);
	
	int ansiLen = ::MultiByteToWideChar(CP_UTF8, NULL, wszMultiByte, wcsLen(wszMultiByte), NULL, 0, NULL, NULL);
	char* szAnsi = new char[ansiLen + 1];
	szAnsi[ansiLen] = '\0';
	::MultiByteToWideChar(CP_UTF8, NULL, wszMultiByte, wcsLen(wszMultiByte), szAnsi, ansiLen, NULL, NULL);
	string = szAnsi;
	delete[] szAnsi;
	delete[] wszMultiByte;
	
	return s;
}
string UnicodeToUtf8(const wstring& wstr) {  
    // 预算-缓冲区中多字节的长度    
    int ansiiLen = WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);  
    // 给指向缓冲区的指针变量分配内存    
    char *pAssii = (char*)malloc(sizeof(char)*ansiiLen);  
    // 开始向缓冲区转换字节    
    WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, pAssii, ansiiLen, nullptr, nullptr);  
    string ret_str = pAssii;  
    free(pAssii);  
    return ret_str;  
}  
string AsciiToUtf8(const string& str) {  
    return UnicodeToUtf8(AsciiToUnicode(str));  
}  
string Utf8ToAscii(const string& str) {  
    return UnicodeToAscii(Utf8ToUnicode(str));  
}  
// ASCII与Unicode互转  
CStringW    AsciiToUnicode_CSTR(const CStringA& str) {  
    return AsciiToUnicode(LPCSTR(str)).c_str();  
}  
CStringA    UnicodeToAscii_CSTR(const CStringW& wstr) {  
    return UnicodeToAscii(LPCWSTR(wstr)).c_str();  
}  
// UTF8与Unicode互转  
CStringW    Utf8ToUnicode_CSTR(const CStringA& str) {  
    return Utf8ToUnicode(LPCSTR(str)).c_str();  
}  
CStringA    UnicodeToUtf8_CSTR(const CStringW& wstr) {  
    return UnicodeToUtf8(LPCWSTR(wstr)).c_str();  
}  
// ASCII与UTF8互转  
CStringA    AsciiToUtf8_CSTR(const CStringA& str) {  
    return UnicodeToUtf8_CSTR(AsciiToUnicode_CSTR(str));  
}  
CStringA    Utf8ToAscii_CSTR(const CStringA& str) {  
    return UnicodeToAscii_CSTR(Utf8ToUnicode_CSTR(str));  
}  
// string 与 Int 互转  
int StringToInt(const string& str) {  
    return atoi(str.c_str());  
}  
string IntToString(int i) {  
    char ch[1024];  
    memset(ch, 0, 1024);  
    sprintf_s(ch, sizeof(ch), "%d", i);  
    return ch;  
}  
string IntToString(char i) {  
    char ch[1024];  
    memset(ch, 0, 1024);  
    sprintf_s(ch, sizeof(ch), "%c", i);  
    return ch;  
}  
string IntToString(double i) {  
    char ch[1024];  
    memset(ch, 0, 1024);  
    sprintf_s(ch, sizeof(ch), "%f", i);  
    return ch;  
}
宁静深远
关注
专栏目录
VC/C++的中文字符处理方式
05-15 3996
  一 引入问题代码 wchar_t a[3]=L”中国”，编译时出错，出错信息为：数组越界。但wchar_t 是一个宽字节类型，数组a的大小应为6个字节，而两个汉字的的unicode码占4个字节，再加上一个结束符，最多6个字节，所以应该不会越界。难道是编译器出问题了？二 解决引入问题所需的知识   主要需两方面的知识，第一个为字符尤其是汉字的编码，以及语言和工具的支持情况，第二个
关于 wcout 输出中文的问题
Que's C++ Studio
08-16 4534
关于 wcout 输出中文的问题 作者:阙荣文 时间:2011/8/16 1. cout 场景1: 在源文件中定义 const char* str = "中文" 在 VC++ 编译器上,由于Windows环境用 GBK编码,所以字符串 "中文" 被保存为 GB
用C++顺序查找处理中文字符串
m0_72608151的博客
08-03 1632
博文用简洁的顺序查找，处理了中文字符串，搜索关键字的位置与关键字的总出现次数。
[C++]字符串的输入方法
最新发布
2401_86789151的博客
08-17 2397
2.scanf()使用有残留换行符，而加入getchar()即可解决该问题。使用gets()时系统会将换行符从缓冲区取出并舍弃，所以。使用getchars()时会将换行符“吃”掉。1.get()使用无残留换行符。使用scanf()时。
C++对中文字符的处理
知来者逆的博客
12-13 7506
前言 1.C++的string对中文的查找替换之类的基本操作并不友好，如果要对中文进行操作，要把中文转成宽字符（wstring）来解决，因为中文字符长度不确定的，在unicode中每个中文为2个字节，而有时还可能有英文数字等，这些只占一个字节1个字节，查找的过程很容易下标出错。 2.大概的处理概念是，先把string转成wstring，进行操作查找匹配操作之后，再转回来。 代码 Chinese.h...
c++ 中文字符串处理方法
热门推荐
ts_rfl的专栏
01-17 2万+
C++处理中文的问题困扰我很久了。之前一旦遇到中文基本就投诸java怀抱了。 今天看到一个漂亮的c++程序，遂豁然开朗。总结一下分享给大家：   问题描述： c++ 中 char*/string 形式的字符串无法正确的对中文字符串进行处理（如 find, strlen, substr 等常规操作） 。 比如当你在char* 中 find 英文逗号时，有可能匹配的不只是逗号，还找到了某个汉
c++_string中的中文字符
9分钟带帽
08-03 1530
上述代码，可以发现，中文字符占有两个char，每个char字符的8位二进制的首位都为1。范围是在0到127，二进制为（0000 0000 ~ 0111 1111）2、中文的 ASCII 码，其最高位为 1，占两个字节。1、英文的 ASCII 码，其最高位为 0，占一个字节。
C++打印中文字符
12-04
C++打印中文字符，宽字符转换，避免中文打印乱码问题
c++汉字字符处理
orz_3399的博客
12-01 1万+
c++汉字字符处理整合
C++中汉字字符串的截取
09-05
在 C++ 中处理汉字字符串时，一个重要的问题是如何正确地截取汉字字符串。下面将详细介绍相关的知识点。 一、GBK 编码简介 GBK 编码是一种中文字符编码标准，它是中国国家标准总局发布的国家标准。GBK 编码将中文...
C#调用C/C++DLL收取中文字符处理
01-20
　从DLL收读取字符串时遇到中文乱码，这里总结一下C#收取字符串时的处理。 　C/C++字符串一般通过char* 或wchar_t*来表示，char*表示的是ANSCII字符串， wchar_t*表示Unicode字符串，Unicode字符串在C/C++中一个...
c++处理中文字符
Conan的博客
05-10 1541
目前在使用c++处理docx文档，在处理中文字符时遇到了中文乱码的问题，所以参考https://www.cnblogs.com/ranjiewen/p/5770639.html解决了这个问题 主要是因为英文字符是单字节存储char，而中文字符是双字节存储wchar，所以需要将char转化为wchar wchar_t* convert(const char str[]) { size_t size = strlen(str); wchar_t *buffer = new wchar_t[size];
zhongwen.rar_C++宽字符处理
09-23
在C++编程中，宽字符处理是一个重要的概念，特别是在处理多语言环境，特别是中文字符时。宽字符通常指的是Unicode编码的字符，它们占用多个字节，以表示更广泛的字符集，包括非ASCII码的字符，如汉字。"zhongwen.rar...
关于C++中文字符的处理
moliere的专栏
07-09 1273
很不错的文章，最近栽在这上面了，转来收藏下首先谈谈我的问题，对于非宽字符的字符串string，如果有汉字，那么如何获取汉字字符呢？直接用索引的话只能获取单字节，因此需要处理下，方法如下：wchar_t word = *(wchar_t*)(&(mystring[j]));对于st
c++ 中文字符处理
lansexinchen的专栏
06-19 646
今天遇到一道题，要求写一个函数，找出字符串中出现次数最多的字符，henji
C++输出中文字符
chouchijiao8952的博客
03-25 620
注：本文转载自互联网，感谢作者整理！ 1. cout 场景1: 在源文件中定义 const char* str = "中文" 在 VC++ 编译器上,由于Windows环境用 GBK编码,所以字符串 "中文" 被保存为 GBK内码, 编译器也把 str 指向一个包含有 GBK编...
C++ 对中文字串的处理
mercy_ps的博客
07-31 1万+
1、wstring输出汉字需要设置一下 wstring wstr2=Ansi_To_Unicode(str2); wcout.imbue(locale("chs")); wcout&lt;&lt;wstr2&lt;&lt;endl; 2、如何搜索字符串中的汉字 引用：https://blog.csdn.net/y601500359/article/details/44194175 //...
C++如何过滤出字符串的中文（GBK、UTF-8）
12-26
最近在处理游戏敏感词之类的东西，为了加强屏蔽处理，所以需要过滤掉字符串中的除汉字之外的是其他东西如数字，符号，英文字母等。 首先我查阅资料并写了个函数： 示例：返回输入字符串中汉字的个数： std::string ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值