C语言编码与字符转换

c语言支持的字符编码

多字节字符编码：用一个字节表示数字、字母，用多个字节表示其它字符（汉字两个字节）。字符长度定义：一个字节为一个字符长度。

宽字节字符编码（UNICODE）：全部用两个字节表示字符。字符长度定义：两个字节为一个字符长度。

c语言默认的字符编码方式为多字节字符编码（单双字节混合表示）

宽字节字符定义方式： 

wchar_t cText = L'A'; //字符

wchar_t* pszText = L"ABCD"; //字符串

TCHAR

为了程序中方便的支持Unicode和多字节字符等，使用宏TCHAR定义字符和字符串。根据_UNICODE宏开关，会将TCHAR编译成不同类型的字符，

在<tchar.h>中有如下定义

#ifndef _UNICODE			//如果定义了UNICODE
	typedef char TCHAR		//定义TCHAR为char
#define _T(x) x				//使用宏_T方便定义字符
#else						//否则
	typedef wchar_t TCHAR	//定义TCHAR为wchar_t
#define _T(x) L##x
#endif

使用时需要包含<tchar.h>头文件，使用_UNICODE宏开关来控制字符类型

字符定义方式：

#define _UNICODE

#include <tchar.h>

TCHAR *pszText = _T("ABCD");

这样字符就会由_UNICODE宏控制编译为多字节还是宽字节

Win32程序与字符编码

Win32的每个API对多字节字符和UNICODE分别有不同的版本

例如：MessageBox(),MessageBoxA(),MessageBoxW()

MessageBox()为宏，由UNICODE控制被编译为MessageBoxA()还是MessageBoxW()

Win32中使用TEXT代替_T()定义字符，例如

TCHAR* pszText = TEXT("ABCD");

字符转换

函数介绍

WideCharToMultiByte

函数功能：该函数映射一个unicode字符串到一个多 字节字符串。

函数原型：

int WideCharToMultiByte(

UINT  CodePage, //指定执行转换的 代码页

DWORD  dwFlags, //允许你进行额外的控制，它会影响使用了读音符号（比如重音）的字符

LPCWSTR  lpWideCharStr, //指定要转换为宽字节字符串的 缓冲区

int  cchWideChar, //指定由参数lpWideCharStr指向的缓冲区的 字符个数

LPSTR  lpMultiByteStr, //指向接收被转换字符串的缓冲区

int  cchMultiByte, //指定由参数lpMultiByteStr指向的 缓冲区最大值

LPCSTR  lpDefaultChar, //遇到一个不能转换的宽字符，函数便会使用pDefaultChar参数指向的字符

LPBOOL  pfUsedDefaultChar //至少有一个字符不能转换为其多字节形式，函数就会把这个变量设为TRUE

);

参数：

CodePage：指定执行转换的 代码页，这个参数可以为系统已安装或有效的任何代码页所给定的值。你也可以指定其为下面的任意一值：

CP_ACP：ANSI代码页；CP_MACCP：Macintosh代码页；CP_OEMCP：OEM代码页；

CP_SYMBOL：符号代码页（42）；CP_THREAD_ACP：当前线程ANSI代码页；

CP_UTF7：使用UTF-7转换；CP_UTF8：使用UTF-8转换。

MultiByteToWideChar

函数功能：该函数映射一个字符串到一个 宽字符（unicode）的字符串。由该函数映射的 字符串没必要是多 字节字符组。

函数原型：

int MultiByteToWideChar(

UINT CodePage,

DWORD dwFlags,

LPCSTR lpMultiByteStr,

int cchMultiByte,

LPWSTR lpWideCharStr,

int cchWideChar

);

参数说明

CodePage：指定执行转换的 字符集，这个参数可以为系统已安装或有效的任何字符集所给定的值。你也可以指定其为下面的任意一值：

CP_ACP：ANSI字符集；CP_MACCP：Macintosh 代码页；CP_OEMCP：OEM代码页；

CP_SYMBOL：符号字符集（42）；CP_THREAD_ACP：当前线程ANSI代码页；

CP_UTF7：使用UTF-7转换；CP_UTF8：使用UTF-8转换。

dwFlags：一组位标记用以指出是否未转换成预作或 宽字符（若组合形式存在），是否使用象形文字替代 控制字符，以及如何处理无效字符。你可以指定下面是标记 常量的组合，含义如下：

MB_PRECOMPOSED：通常使用预作 字符——就是说，由一个基本字符和一个非空字符组成的字符只有一个单一的字符值。这是缺省的转换选择。不能与

MB_COMPOSITE值一起使用。

MB_COMPOSITE：通常使用 组合字符——就是说，由一个基本字符和一个非空字符组成的字符分别有不同的字符值。不能与MB_PRECOMPOSED值一起使用。

MB_ERR_INVALID_CHARS：如果函数遇到无效的输入字符，它将运行失败，且GetLastErro返回ERROR_NO_UNICODE_TRANSLATION值。

MB_USEGLYPHCHARS：使用象形文字替代 控制字符。

组合字符由一个基础字符和一个非空字符构成，每一个都有不同的字符值。每个预作 字符都有单一的字符值给基础/非空字符的组成。在字符è中，e就是基础字符，而重音符标记就是非空字符。

函数的缺省动作是转换成预作的形式。如果预作的形式不存在，函数将尝试转换成组合形式。

标记MB_PRECOMPOSED和MB_COMPOSITE是互斥的，而标记MB_USEGLYPHCHARS和MB_ERR_INVALID_CHARS则不管其它标记如何都可以设置。

lpMultiByteStr：指向将被转换 字符串的字符。

cchMultiByte：指定由参数lpMultiByteStr指向的字符串中 字节的个数。如果lpMultiByteStr指定的字符串以空字符终止，可以设置为-1（如果字符串不是以空字符中止，设置为-1可能失败，可能成功），此参数设置为0函数将失败。

lpWideCharStr：指向接收被转换字符串的 缓冲区。

cchWideChar：指定由参数lpWideCharStr指向的缓冲区的宽字符个数。若此值为零，函数返回缓冲区所必需的 宽字符数，在这种情况下，lpWideCharStr中的缓冲区不被使用。

使用方法

由于转换前不知道转换后的字符长度，无法定义合适大小的变量存放转换后的字符，所以使用预转换的方法。

1. 将要转换的字符串传递给参数，接收缓冲置为缺省，接收缓冲大小为0，从返回值中获得转换后的字符数。（预转换）

2. 根据返回的字符数分配空间

3. 再次调用转换函数，并将分配的空间传递给转换函数，得到结果。

代码示例

//宽字节字符转换为多字节字符
BOOL CStringToChar(const CString &str, CHAR *pBuf, int nBufSize)
{
	//注意：以下n和len的值大小不同,n是按字符计算的，len是按字节计算的
	ASSERT(pBuf != NULL);
	int n = str.GetLength();
	int len = WideCharToMultiByte(CP_ACP,0,str,n,NULL,0,NULL,NULL);

	if (nBufSize - 1 < len)
	{
		TRACE(_T("CString转换成Char失败，原因：使用的buffer大小不够！"));
		return FALSE;
	}
	//宽字节编码转换成多字节编码
	WideCharToMultiByte(CP_ACP, 0, str, n, pBuf, len, NULL, NULL);
	pBuf[len] = '\0';   //多字节字符以'\0'结束

	return TRUE;
}

//多字节字符转换为宽字节字符
BOOL CharToCString(CHAR *pBuf, CString &str)
{
	ASSERT(pBuf != NULL);
	int clen = strlen(pBuf);
	int len = MultiByteToWideChar(CP_ACP, 0, pBuf, clen, NULL, 0);
	TCHAR *pTbuf = new TCHAR[len + 1];
	if (pBuf == NULL)
	{
		TRACE0("CCommonTool::CharToCString函数中动态申请内存失败！");
		return FALSE;
	}
	//实现多字节编码转换成宽字节编码
	MultiByteToWideChar(CP_ACP, 0, pBuf, clen, pTbuf, len);
	pTbuf[len] = '\0';

	//str.Append(pTbuf);
	str = pTbuf;
	//释放动态对内存
	delete pTbuf;
	return TRUE;
}