1.简介
一直以来,我们将文本字符串编码成一组以0结尾的单字节字符,调用strlen,它就会返回“以0结尾的一个ANSI单字节字符数组”的字符数。
但是,某些语言文字系统(如韩文)的字符集有非常多的符号,一个字节最多能表示256个符号,这是远远不够的;为了支持这些语言文字系统,双字节字符集出现了。双字节字符集中,一个字符串中的每个字符都由1个或2个字节组成。
2.Unicode编码
UTF全称是Unicode Transformation Format(Unicode转换格式),有以下几种格式。
- UTF-8:将一些字符编码为1个字节、2个字节、3个字节、4个字节,相当流行的编码格式。
- UTF-16:将每个字符编码为2个字节。
- UTF-32:将每个字符都编码为4个字节。
3.ANSI字符和Unicode字符
C语言用char数据类型表示一个8位的ANSI字符。如下:
char c = 'A';
char buffer[100] = "string";
微软的C/C++编译器定义了一个内建的数据类型wchar_t,表示一个16位的Unicode(UTF-16)字符。默认情况下,在vs中新建一个项目时,编译器会打开/Zc:wchar_t的开关,我们才能够正常使用这个数据类型。
声明Unicode字符和字符串的方法。如下:
wchar_t c = L'A';
wchar_t buffer[100] = L"string";
字符串之前的大写字母L通知编译器该字符串应当编译为一个Unicode字符串。
为了与C语言区分,Windows希望定义了自己的数据类型。如下所示:
typedef char CHAR;
typedef wchar_t WCHAR; // wc, 16-bit UNICODE character
除此之外,还定义了大量方便的数据类型。如下所示:
typedef CHAR *PCHAR, *PSTR;
typedef CONST CHAR *PCSTR;
typedef WCHAR *PWCHAR, *PWSTR;
typedef CONST WCHAR *PCWSTR;
另外,在写代码的时候,可以使用ANSI或Unicode字符/字符串使能够通过编译。定义了以下类型的宏:
#ifdef UNICODE // r_winnt
typedef WCHAR TCHAR, *PTCHAR,PTSTR;
typedef CONST WCHAR *PCTSTR;
#define __TEXT(quote) L##quote // r_winnt
#else
typedef CHAR TCHAR, *PTCHAR,PTSTR;
typedef CONST CHAR *PCTSTR;
#define __TEXT(quote) quote // r_winnt
#endif /* !_TCHAR_DEFINED */
#define TEXT(quote) __TEXT(quote)
利用这些类型和宏,无论使用ANSI还是Unicode字符,都能通过编译。
TCHAR c = TEXT('A');
TCHAR buffer[100] = TEXT("string");
4.Windows中的Unicode函数和ANSI函数
如果一个Windows函数的参数列表中有字符串,则通常有两个版本。例如:CreateFile
WINBASEAPI
HANDLE
WINAPI
CreateFileA(
_In_ LPCSTR lpFileName,
_In_ DWORD dwDesiredAccess,
_In_ DWORD dwShareMode,
_In_opt_ LPSECURITY_ATTRIBUTES lpSecurityAttributes,
_In_ DWORD dwCreationDisposition,
_In_ DWORD dwFlagsAndAttributes,
_In_opt_ HANDLE hTemplateFile
);
WINBASEAPI
HANDLE
WINAPI
CreateFileW(
_In_ LPCWSTR lpFileName,
_In_ DWORD dwDesiredAccess,
_In_ DWORD dwShareMode,
_In_opt_ LPSECURITY_ATTRIBUTES lpSecurityAttributes,
_In_ DWORD dwCreationDisposition,
_In_ DWORD dwFlagsAndAttributes,
_In_opt_ HANDLE hTemplateFile
);
CreateFileA:接受ANSI字符串。
CreateFileW:接受Unicode字符串。W代表wide
返回字符串长度的函数:
#ifdef UNICODE
#define _tcslen wcslen
#else
#define _tcslen strlen
#endif
5.新的安全字符串函数
现有的字符串处理函数如_tcscpy等已被标记位废弃不用。现在它们都对应了一个新版本的函数,前面名称相同,最后加了一个_s后缀。示例:
TCHAR before[3] = { TEXT('A'),TEXT('B') ,'\0'};
TCHAR after[3] = { TEXT('-'),TEXT('-') ,'\0'};
errno_t result = _tcscpy_s(after, _countof(after), before);
6.处理字符串的函数
除了新的安全字符串函数,C运行库还新增了一些函数,用于在执行字符串处理时提供更多控制。自然,这些函数提供了ANSI(A)版本和Unicode(W)版本。
StringCchCat(PTSTR pszDest, size_t cchDest, PTSTR pszSrc)
StringCchCopy(PTSTR pszDest, size_t cchDest, PTSTR pszSrc)
在这些方法中,都含有一个“Cch”,这表示Count of characters,即字符数;通常使用_countof来获取值。
另外还有一系列的名称中含有“Cb”的函数,比如StringCbCat、StringCbCopy,这些函数要求用字节数来指定大小,通常使用sizeof来获取值。
还有一些末尾加了Ex的函数,表示可扩展的版本,例如StringCchCatEx、StringCchCopyEx。
7.推荐字符和字符串的处理方式
最好将应用程序转换为支持Unicode的形式。
- 用通用的数据类型(TCHAR/PTSTR)表示文本字符和字符串。
- 用BYTE和PBYTE表示字节、字节指针和数据缓冲区。
- 用TEXT或_T宏来表示字面常量字符和字符串。
- 修改与字符串有关的计算。例如:我们需要知道缓冲区大小的字符数,而不是字节数,应该调用_countof(buffer),而不是sizeof(buffer)。
- 执行全局替换。例如:用PTSTR替换PSTR。
以下为使用Unicode的好处:
- 有利于应用程序本地化。
- 只需发布一个二进制文件,即可支持所有语言。
- 提升应用程序效率,代码执行速度更快,占用内存更少。Windows内部的一切工作都是使用Unicode字符和字符串来进行的。如果使用ANSI字符和字符串,Windows就会被迫分配内存,将ANSI字符或字符串转为Unicode。
- 应该程序能够调用所有尚未弃用的Windows函数,因为一些Windows函数只提供处理Unicode的字符和字符串。
- 应用程序代码很容易与COM集成。
- 应用程序代码很容易与.NET Framework集成。
8.Unicode与ANSI字符串转换
//将多字节的字符串转换为宽字符字符串
MultiByteToWideChar(
_In_ UINT CodePage,
_In_ DWORD dwFlags,
_In_NLS_string_(cbMultiByte) LPCCH lpMultiByteStr,
_In_ int cbMultiByte,
_Out_writes_to_opt_(cchWideChar,return) LPWSTR lpWideCharStr,
_In_ int cchWideChar
);
//将宽字符字符串转换为多字节字符串
WideCharToMultiByte(
_In_ UINT CodePage,
_In_ DWORD dwFlags,
_In_NLS_string_(cchWideChar) LPCWCH lpWideCharStr,
_In_ int cchWideChar,
_Out_writes_bytes_to_opt_(cbMultiByte,return) LPSTR lpMultiByteStr,
_In_ int cbMultiByte,
_In_opt_ LPCCH lpDefaultChar,
_Out_opt_ LPBOOL lpUsedDefaultChar
);