utf8转ucs2编码c语言实现,C++字符转换

UTF_8与GBK

在windows平台下sizeof(wchar_t)为2，而在linux平台下sizeof(wchar_t)为4；

在windows平台下宽字符(或字符串)字面量使用UTF-16编码，linux平台下使用UTF-32编码。

MultiByteToWideChar、WideCharToMultiBytestd::string UTF8ToGBK(const std::string& strUTF8)

{

int len = MultiByteToWideChar(CP_UTF8, 0, strUTF8.c_str(), -1, NULL, 0);

WCHAR* wszGBK = new WCHAR[len + 1];

memset(wszGBK, 0, len * 2 + 2);

MultiByteToWideChar(CP_UTF8, 0, (LPCSTR)(LPCTSTR)strUTF8.c_str(), -1, wszGBK, len);

len = WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, NULL, 0, NULL, NULL);

char *szGBK = new char[len + 1];

memset(szGBK, 0, len + 1);

WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, szGBK, len, NULL, NULL);

std::string strTemp(szGBK);

delete[]szGBK;

delete[]wszGBK;

return strTemp;

}

std::string GBKToUTF8(const std::string& strGBK)

{

std::string strOutUTF8 = "";

WCHAR * str1;

int n = MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, NULL, 0);

str1 = new WCHAR[n];

MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, str1, n);

n = WideCharToMultiByte(CP_UTF8, 0, str1, -1, NULL, 0, NULL, NULL);

char * str2 = new char[n];

WideCharToMultiByte(CP_UTF8, 0, str1, -1, str2, n, NULL, NULL);

strOutUTF8 = str2;

delete[]str1;

str1 = NULL;

delete[]str2;

str2 = NULL;

return strOutUTF8;

}

MultiByteToWideChar、WideCharToMultiByte可以改变多字节与宽字节

CodePage参数控制字符集：

CodePage——指定要转换成的字符集代码页，它可以是任何已经安装的或系统自带的字符集，可选择以下代码页：

CP_ACP //当前系统ANSI代码页

CP_MACCP //当前系统Macintosh代码页

CP_OEMCP //当前系统OEM代码页，一种原始设备制造商硬件扫描码

CP_SYMBOL //Symbol代码页，用于Windows 2000及以后版本

CP_THREAD_ACP //当前线程ANSI代码页，用于Windows 2000及以后版本

CP_UTF7 //UTF-7，设置此值时lpDefaultChar和lpUsedDefaultChar都必须为NULL

CP_UTF8 //UTF-8，设置此值时lpDefaultChar和lpUsedDefaultChar都必须为NULL

用 GetLocaleInfo 函数获取当前系统的代码页，936: 简体中文, 950: 繁体中文，949：韩文

ATL封装_bstr_#include

#pragma comment(lib, "comsuppw.lib")

string ws2s(const wstring& ws)

{

_bstr_t t = ws.c_str();

char* pchar = (char*)t;

string result = pchar;

return result;

}

wstring s2ws(const string& s)

{

_bstr_t t = s.c_str();

wchar_t* pwchar = (wchar_t*)t;

wstring result = pwchar;

return result;

}

iconvint code_convert(char *from_charset, char *to_charset, char *inbuf, size_t inlen,

char *outbuf, size_t outlen) {

iconv_t cd;

char **pin = &inbuf;

char **pout = &outbuf;

cd = iconv_open(to_charset, from_charset);

if (cd == 0)

return -1;

memset(outbuf, 0, outlen);

if (iconv(cd, pin, &inlen, pout, &outlen) == -1)

return -1;

iconv_close(cd);

*pout = '\0';

return 0;

}

int u2g(char *inbuf, size_t inlen, char *outbuf, size_t outlen) {

return code_convert("utf-8", "gb2312", inbuf, inlen, outbuf, outlen);

}

int g2u(char *inbuf, size_t inlen, char *outbuf, size_t outlen) {

return code_convert("gb2312", "utf-8", inbuf, inlen, outbuf, outlen);

}

使用C++11标准库进行编码转换

下面是一段测试代码，print_code_uint_sequence函数模板用于输出字符串的码元序列。

#include

#include

#include

#include

template

void print_code_unit_sequence(tStringType str)

{

using char_type = typename tTraits::char_type;

static_assert(std::is_same::value || std::is_same::value || std::is_same::value, "error");

using unsigned_char_type = typename std::make_unsigned::type;

using unsigned_int_type = typename std::make_unsigned::type;

int w = std::is_same::value ? 2 : std::is_same::value ? 4 : 8;

for(auto c : str) {

auto value = static_cast(static_cast(c));

std::cout << "0x" << std::hex << std::uppercase << std::setw(w) << std::setfill('0') << value << ' ';

}

}

int main()

{

std::string u8_str = u8"𪚥"; // utf-8

std::u16string u16_str = u"𪚥"; // utf-16

std::u32string u32_str = U"𪚥"; // ucs4

std::cout << "utf-8: ";

print_code_unit_sequence(u8_str);

std::cout << std::endl;

std::cout << "utf-16: ";

print_code_unit_sequence(u16_str);

std::cout << std::endl;

std::cout << "ucs4: ";

print_code_unit_sequence(u32_str);

std::cout << std::endl;

}

C++11标准库在头文件中定义了3个Unicode编码转换的Facet

std::codecvt_utf8 封装了UTF-8与UCS2及UTF-8与UCS4的编码转换

std::codecvt_utf16 封装了UTF-16与UCS2及UTF-16与UCS4的编码转换

std::codecvt_utf8_utf16 封装了UTF-8与UTF-16的编码转换

当要转换的字符串为std::basic_string使用

template

class Elem = wchar_t,

class Wide_alloc = std::allocator,

class Byte_alloc = std::allocator>

class wstring_convert;

UTF-8与UTF-16编码转换

UTF-8与UTF-16的编码转换使用std::codecvt_utf8_utf16类模板，其中Elem用于存储UTF-16码元，可以是char16_t、char32_t或wchar_t(这些类型都至少能够存储16bit)。

std::wstring_convert<:codecvt_utf8_utf16>, char16_t> cvt;

std::u16string u16_cvt_str = cvt.from_bytes(u8_source_str); // utf-8 to utf-16

std::string u8_cvt_str = cvt.to_bytes(u16_cvt_str); // utf-16 to utf-8

UTF-8与UCS2编码转换及UTF-8与UCS4编码转换

UTF-8与UCS2或UCS4编码转换使用std::codecvt_utf8类模板，当Elem为char16_t时转换为UTF-8与UCS2，当Elem为char32_t时转换为UTF-16与UCS4，当Elem为wchar_t时转换取决于实现。

std::wstring_convert<:codecvt_utf8>, char16_t> utf8_ucs2_cvt;

std::u16string ucs2_cvt_str = utf8_ucs2_cvt.from_bytes(u8_source_str); // utf-8 to ucs2

std::string u8_str_from_ucs2 = utf8_ucs2_cvt.to_bytes(ucs2_cvt_str); // ucs2 to utf-8

std::wstring_convert<:codecvt_utf8>, char32_t> utf8_ucs4_cvt;

std::u32string ucs4_cvt_str = utf8_ucs4_cvt.from_bytes(u8_source_str); // utf-8 to ucs4

std::string u8_str_from_ucs4 = utf8_ucs4_cvt.to_bytes(ucs4_cvt_str); // ucs4 to utf-8

UTF-16与UCS2编码转换及UTF-16与UCS4编码转换

UTF-16转UCS2或UCS4使用std::codecvt_utf16类模板

这里以UTF-16与UCS4的转换为例Elem为char32_t，UTF-16与UCS2的转换类似只是Elem需为char16_t。

由于std::wstring_convert是用于在byte string和wide string之间转换，使用std::codecvt_utf16时UTF-16字符串作为byte string，因此使用这个转换时就需要考虑字节序的问题。std::codecvt_utf16类模板的第3个模板参数Mode类型为std::codecvt_mode

enum codecvt_mode {

consume_header = 4,

generate_header = 2,

little_endian = 1

};consume_header 告诉codecvt需要处理输入的byte string中的BOM(Byte Order Mark)

generate_header 告诉codecvt在输出的byte string中添加BOM

little_endian 告诉codecvt将byte string的字节序视为小端(Little Endian)，默认为大端(Big Endian)

std::wstring_convert<:codecvt_utf16 char32_t> utf16le_cvt; // little endian

std::wstring_convert<:codecvt_utf16 char32_t> utf16be_cvt; // default big endian

std::u32string u32_str_from_le = utf16le_cvt.from_bytes(u16le_byte_str); // utf-16 to ucs4

std::u32string u32_str_from_be = utf16be_cvt.from_bytes(u16be_byte_str); // utf-16 to ucs4

BOM(Byte Order Mark)

字节序标记是插入到以UTF-8、UTF-16或UTF-32编码Unicode文件开头的特殊标记，用于标识文本编码及字节序。

UTF-8 0xEF 0xBB 0xBF

UTF-16 BE 0xFE 0xFF

UTF-16 LE 0xFF 0xFE

UTF-32 BE 0x00 0x00 0xFE 0xFF

UTF-