ANSI 与 UNICODE

ANSI 与 UNICODE

 

Ansi与Unicode-续集

①、Ansi与Unicode简要说明及各自的优缺点：

他们是两种字符的编码格式，Ansi=窄字节，Unicode=宽字节，Ansi用char格式表示一个字符，占用一个字节的存储空间，最多表示255个字符，

表示英文还可以，但对于中文、日文、韩文等语言来说就不够用了，所以如果你的程序是Ansi编码的话，

那么你写的中文语言的程序拿到日文、韩文等系统上面就会出现乱码。所以有了Unicode，用二个字节去表示一个字符，格式是 unsigned short，被定义成 wchar_t 格式

这样就可以表示世界上绝大多数的语言了！但有利就有弊，缺点呢？就是空间占用翻倍了，网络传输的数据量也增大了……

 

◆ vc++ 6.0 默认为Ansi编码，vs2005、vs2008、vs2010 等默认都是Unicode编码，当然可以进行工程的设置从而进行编码的转换，见演示！

 

◆ 就我个人观点：还是建议大家使用Unicode宽字节的编码格式，具体见下面：

 

◆ 系统提供了两种类型的 API 函数，见：user32.dll 中的 MessageBox 函数，其实 MessageBox 他只是一个宏，他对应的两个版本的函数分别为：MessageBoxA 和 MessageBoxW，你在使用的时候系统会根据是否定义了_UNICODE 宏来进行判断该使用哪个版本的函数！如果你的工程没有定义_UNICODE 宏，那么就使用窄字节的 MessageBoxA，如果定义了，那么就使用宽字节的 MessageBoxW，具体在vs2008中，右键找定义，见演示！

 

◆ 网摘：Windows 2000 及其以后的 Xp、2003、Vista、Win7 等系统都是使用Unicode从头进行开发的，如果调用任何一个Windows API 函数并给它传递一个 ANSI 字符串，那么系统首先要将字符串转换成Unicode，然后将Unicode字符串传递给操作系统。如果希望函数返回ANSI字符串，系统就会先将Unicode字符串转换成ANSI字符串，然后将结果返回给你的应用程序。进行这些字符串的转换需要占用系统的时间和内存。通过从头开始用Unicode来开发应用程序，就能够使你的应用程序更加高效的运行！

 

==================================================================

 

②、不同编码格式下的字符串处理及相互转化：

 

◆ 大家在编程时经常遇到的数据类型：

● Ansi：

char、char * 、const char *

CHAR、(PCHAR、PSTR、LPSTR)、LPCSTR

 

● Unicode：

wchar_t、wchar_t * 、const wchar_t *

WCHAR、(PWCHAR、PWSTR、LPWSTR)、LPCWSTR

 

● T 通用类型：

TCHAR、(TCHAR * 、PTCHAR、PTSTR、LPTSTR)、LPCTSTR

 

以上，其中：P代表指针的意思，STR代表字符串的意思，L是长指针的意思，在WIN32平台下可以忽略，C代表const常量的意思，W代表wide宽字节的意思，T大家可以理解为通用类型的意思，

就是可以根据工程中是否定义_UNICODE 宏，分别定义成不同的类型，比如：TCHAR 类型，如果工程中定义了_UNICODE 宏，那么他最终被定义成 wchar_t 类型，

如果工程中没有定义_UNICODE 宏，那么 TCHAR 被最终定义成 char 类型。

 

〓※※※〓其方便性就是修改了工程的编码格式之后不用修改代码，所以还是建议大家在编写程序的时候使用通用类型！

 

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

 

◆ 字符串类型的对象的定义：

● Ansi：char *pAnsiStr = "hello";

● Unicode：wchar_t *pUnicodeStr = L"hello";

● 通用类型：TCHAR *pTStr = _T("hello"); 或者 TCHAR *pTStr = _TEXT("hello");

● 动态申请内存：TCHAR *pszBuf = new TCHAR[100];

 

其中，_TEXT 和 _T 是一样的，定义如下：

#define _T(x)       __T(x)

#define _TEXT(x)    __T(x)

 

来看看 __T 的最终定义：

#ifdef  _UNICODE

#define __T(x)      L##x

#else

#define __T(x)      x

#endif

 

其中，##为连接起来的意思。

 

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

 

◆ 常用的字符串处理函数，具体信息见MSDN：

字符串长度：

● Ansi：strlen(char *str);

● Unicode：wcslen(wchar_t *str);

● 通用函数：_tcslen(TCHAR *str);

 

● Ansi：int atoi(const char *str);

● Unicode：int _wtoi(const wchar_t *str);

● 通用函数：_tstoi(const TCHAR *str);

 

字符串拷贝：

● Ansi：strcpy(char *strDestination, const char *strSource);

● Unicode：wcscpy(wchar_t *strDestination, const wchar_t *strSource);

● 通用函数：_tcscpy(TCHAR *strDestination, const TCHAR *strSource);

 

以上函数不安全，在vs2003等以上版本的编译器中会有warnning警告提示，以下为安全函数（vc++6.0不支持）：

● Ansi：strcpy_s(char *strDestination, size_t numberOfElements, const char *strSource);

● Unicode：wcscpy_s(wchar_t *strDestination, size_t numberOfElements, const wchar_t *strSource);

● 通用函数：_tcscpy_s(TCHAR *strDestination, size_t numberOfElements, const TCHAR *strSource);

 

numberOfElements

Size of the destination string buffer. 目的缓冲区的大小，以字节为单位，不是字符！

 

size_t unsigned integer，在MSDN中的解释：Result of sizeof operator，也就是说 size_t 是 unsigned integer 即无符号整数。那为什么会有size_t这个类型呢？

因为不同平台的操作系统(32/64)中 int/long 等类型所占的字节并不一样，而 size_t 在不同的平台下有不同的定义。有点类似于TCHAR类型：

#ifndef   _SIZE_T_DEFINED

  #ifdef     _WIN64

  typedef   unsigned   __int64         size_t;   //8个字节，64位

  #else

  typedef   _W64   unsigned   int       size_t;   //4个字节，32位

  #endif

  #define   _SIZE_T_DEFINED

#endif

 

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

 

◆ Ansi 与 Unicode 字符串类型的互相转换：

上面给大家介绍的都是窄字节就是窄字节，宽字节就是宽字节，那么下面就给大家介绍下他们两个之间的转换。

在程序中还是不建议大家来回来去的进行字符串编码的转换，要么就都使用Ansi，要么就都使用Unicode，

但是呢，往往有些 API 函数只提供了窄字节版本（比如：GetProcAddress，见MSDN）或者只提供宽字节版本（比如：CommandLineToArgvW，见MSDN），

这个时候就要进行字符串编码格式的转换了。

 

但是，这里提醒下大家，不是所有的都需要转换，有一些是不需要转换的，比如 socket 中的 send 或者 recv 函数，大家要明白函数参数的真正意义！

=================================================

◆ 字符串占用字节数：

● Ansi：

char szStr[] = "abc";

占用字节数求法：sizeof(szStr);

 

char *psz = "defgh";

占用字节数求法：strlen(psz)*sizeof(char);

 

● Unicode：

wchar_t szwStr[] = L"abc";

占用字节数求法：sizeof(szwStr);

 

wchar_t *pwsz = L"defgh";

占用字节数求法：wcslen(pwsz)*sizeof(wchar_t);

 

● 通用函数：

TCHAR szStr[] = _T("abc");

占用字节数求法：sizeof(szStr);

 

TCHAR *psz = _T("defgh");

占用字节数求法：_tcslen(psz)*sizeof(TCHAR);

=======================================================

 

● 转换用到的最根本的 API 函数：

WideCharToMultiByte 实现宽字节转换到窄字节

MultiByteToWideChar 实现窄字节转换到宽字节

 

WideCharToMultiByte 的代码页用来标记与新转换的字符串相关的代码页；

MultiByteToWideChar 的代码页用来标记与一个多字节字符串相关的代码页，

 

[1]、常用的代码页有 CP_ACP 和 CP_UTF8 两个：

使用 CP_ACP 代码页就实现了 ANSI 与 Unicode 之间的转换；--- 我们所用的！

使用 CP_UTF8 代码页就实现了 UTF-8 与 Unicode 之间的转换。

 

[2]、dwFlags 参数允许我们进行额外的控制，但是，一般情况下都不使用这个标志，直接传递 0 就行了。

 

[3]、lpDefaultChar和pfUsedDefaultChar：只有当WideCharToMultiByte函数遇到一个宽字节字符，而该字符在uCodePage参数标识的代码页中并没有它的表示法时，WideCharToMultiByte函数才使用这两个参数。如果宽字节字符不能被转换，该函数便使用lpDefaultChar参数指向的字符。如果该参数是NULL（这是大多数情况下的参数值），那么该函数使用系统的默认字符。该默认字符通常是个问号。这对于文件名来说是危险的，因为问号是个通配符。pfUsedDefaultChar参数指向一个布尔变量，如果Unicode字符串中至少有一个字符不能转换成等价多字节字符，那么函数就将该变量置为TRUE。如果所有字符均被成功地转换，那么该函数就将该变量置为FALSE。当函数返回以便检查宽字节字符串是否被成功地转换后，可以测试该变量。

 

● 两个转换函数的使用举例：

char *cctryWideCharToAnsi(wchar_t *pWideChar)

{

if (!pWideChar) return NULL;

char *pszBuf = NULL;

int needBytes = WideCharToMultiByte(CP_ACP, 0, pWideChar, -1, NULL, 0, NULL, NULL);

if (needBytes > 0){

pszBuf = new char[needBytes+1];

ZeroMemory(pszBuf, (needBytes+1)*sizeof(char));

WideCharToMultiByte(CP_ACP, 0, pWideChar, -1, pszBuf, needBytes, NULL, NULL);

}

 

return pszBuf;

}

 

wchar_t *cctryAnsiCharToWide(char *pChar)

{

if (!pChar) return NULL;

wchar_t *pszBuf = NULL;

int needWChar = MultiByteToWideChar(CP_ACP, 0, pChar, -1, NULL, 0);

if (needWChar > 0){

pszBuf = new wchar_t[needWChar+1];

ZeroMemory(pszBuf, (needWChar+1)*sizeof(wchar_t));

MultiByteToWideChar(CP_ACP, 0, pChar, -1, pszBuf, needWChar);

}

 

return pszBuf;

}

 

〓※※※〓 使用过后千万别忘记释放空间……

 

● A2W、W2A、T2A、T2W 宏的使用以及注意事项：

[1]、使用 alloca() 函数进行空间的申请，宏返回的地址空间是从栈上面申请的，那么以后就不必释放，这样就涉及到了一个作用域的问题，具体见MSDN，

大家可以简单的理解为“向下兼容”，给大家解释解释！

[2]、不要在一个函数的循环体中使用 A2W 等字符转换宏，可能引起栈溢出。

具体课参照这篇帖子：http://www.cctry.com/thread-17948-1-1.html

比如：

#include <atlconv.h>

void func()

{

    while(true)

    {

        {

            USES_CONVERSION;

            testFunc(A2W("abc"));

        }

    }

}