ANSI和UNICODE

ANSI和UNICODE

2010-09-17 17:17

在软件开发中，特别是使用C语言的一些有关字符串处理的函数，ANSI和UNICODE是区分是用的，那么ANSI类型的字符和UNICODE类型的字符如何定义，如何使用呢？ANSI和UNICODE又如何转换呢？ 一．定义部分： ANSI： char str[1024]; 可用字符串处理函数：strcpy( ), strcat( ), strlen( )等等。UNICODE：wchar_t str[1024]；可用字符串处理函数 二．可用函数： ANSI：即 char， 可用字符串处理函数：strcat( ),strcpy( ), strlen( )等以str打头的函数。 UNICODE：即wchar_t 可用字符串处理函数：wcscat(),wcscpy(),wcslen()等以wcs打头的函数。 三．系统支持 Windows 98 ：只支持ANSI。 Windows 2k ：既支持ANSI又支持UNICODE。 Windows CE ：只支持UNICODE。 说明 1． 在COM里面只支持UNICODE。 2． Windows 2000整个OS系统都是基于UNICODE的，为此在windows 2000下使用ANSI是需要付出代价的，虽然在编码上不用任何的转换，但是这种转化是隐藏的，是占用系统资源的（CPU，内存）。 3． 在Windows 98下必须使用UNICODE，则需要自己手动的编码切换。 三．如何区分： 在我们软件开发中往往需要即支持ANSI又支持UNICODE，不可能在要求类型转换的时候，重新改变字符串的类型，和使用于字符串上的操作函数。为此, 标准的C 运行期库和Windows 提供了宏定义的方式。 在C语言里面提供了 _UNICODE宏（有下划线），在Windows里面提供了UNICODE宏（无下划线），只要定了_UNICODE宏和UNICODE宏，系统就会自动切换到UNICODE版本，否则，系统按照ANSI的方式进行编译和运行。 只定义了宏并不能实现自动的转换，他还需要一系列的字符定义支持。 1． TCHAR 如果定义了UNICODE宏则TCHAR被定义为wchar_t。 typedef wchar_t TCHAR; 否则TCHAR被定义为char typedef char TCHAR; 2． LPTSTR 如果定义了UNICODE宏则LPTSTR被定义为LPWSTR。 typedef LPTSTR LPWSTR; 否则TCHAR被定义为char typedef LPTSTR LPSTR; 在使用字符串常量的时候需要使用_TEXT(“MyStr”)来支持系统的自动转换。 用于字符串处理的函数 如果你要分类Unicode标准字符串，你会有以下几个函数可供选择： wcscmp(), wcsncmp(), wcsicmp(), 和wcsnicmp() wcscoll(), wcsncoll(), wcsicoll(),和wcsnicoll() CompareString() 　　第一类函数可用来对字符串进行比较，不参考当地（Locale）或外文字符。如果你永远不想支持外文，或者你仅仅想测试一下两个字符串的内容是否相同，这类函数非常好用。 　　第二类函数使用现有的当地设置(current locale settings)（系统设置，除非你在字符串比较函数之前调用了wsetlocale()函数）来比较两个字符串。这些函数也能正确分类外文字符。如果当地的字符"C"（"C" locale）被选定，这些函数与第一类函数就具有了相同的功能。 　　第三类函数是Win32函数CompareString()。这个函数类似于第二类函数，但是它允许你指定当地设置（the locale）作为一个参数，而不是使用现有的当地设置(current locale settings)。CompareString()函数允许你选择性地指定两个字符串的长度。你可以将第二个参数设置为NORM_IGNORECASE，从而使函数比较字符串时不比较大小写。 　　通常，即使不将第二个参数设置为NORM_IGNORECASE，CompareString()函数也不用来区分大小写。我们经常用wcsncoll()函数来区分大小写，除非使用当地的字符"C"（"C" locale）。所以，在我们的代码中，不使用CompareString()函数来区分大小写，而用wcsncoll()函数来区分大小写 2. 不要混淆TCHARs和bytes 　　如果你正在Windows CE上写非Unicode应用程序，你或许要将所有的字符串从单个字符(chars)转换为宽字符(widechars)（例如，C变量类型whcar_t）。几乎所有Windows CE支持的Win32和运行时间库函数都要求宽字符变量。Windows 95不支持Unicode，然而，为了使程序代码具有可移植性，你要尽可能采用tchar.h中定义的TCHAR类型，不要直接使用wchar_t。 　　TCHAR是定义为wchar_t还是char，取决于预处理器的符号UNICODE是否定义。同样，所有有关字符串处理函数的宏，如_tcsncpy宏，它是定义为Unicode函数wcsncpy还是定义为ANSI函数strncpy，取决于UNICODE是否定义。 　　在现存的Windows应用程序中，有些代码也许暗示字符长为单字节。这在给字符串分配内存时经常用到，例如： int myfunc(char *p) { char *pszFileName; pszFileName = malloc(MAXFILELEN); if(pszFileName) strncpy(pszFileName, p, MAXFILELEN); /*etc*/ 　　在这段代码中，分配的内存块应该写作(MAXFILELEN * sizeof(char))，但是大多数程序员喜欢将它简化为MAXFILELEN，因为对于所有的平台来说sizeof(char)的值等于1。然而，当你用TCHARS代替多个字符时，很容易忘记这种固有的概念，于是将代码编写成下面的形式： int myfunc(TCHAR *p) { TCHAR *pszFileName; PszFileName = (TCHAR*)malloc(MAXFILELEN); If (pszFileName) tcsncpy(pszFileName, p, MAXFILELEN); /*etc*/ 　　这是不行的。它马上会导致出错。这里的错误在于malloc函数中指定变量大小为bytes，然而_tcsncpy函数中使用的第三个变量却指定为TCHARs而不是bytes。当UNICODE被定义时，一个TCHAR等于两个字节数(bytes)。 上述代码段应该改写为： int myfunc(TCHAR *p) { TCHAR *pszFileName; PszFileName = (TCHAR*)malloc(MAXFILELEN * sizeof(TCHAR)); if(pszFileName) tcsncpy(pszFileName, p, MAXFILELEN); /*etc*/ 3. 不要将Unicode 字符串放入奇数内存地址 　　在Intel系列处理器上，你可以在一奇数内存地址储存任何变量或数组，不会导致任何致命的错误影响。但在H/PC上，这一点不一定能行 ? 你必须对大于一个字节的数据类型小心谨慎，包括定义为无符号短型（unsigned short）的wchar_t。当你设法访问它们的时候，将它们置于奇地址会导致溢出。 　　编辑器经常在这些问题上提醒你。你无法管理堆栈变量地址，并且编辑器会检查确定这些地址与变量类型是否相匹配。同样，运行时间库必须保证从堆中分配的内存总是满足一个word边界，所以你一般不必担心那两点。但是，如果应用程序含有用memcpy()函数拷贝内存区域的代码，或者使用了某种类型的指针算术以确定内存地址，问题也许就出现了。考虑下面的例子： int send_name (TCHAR * pszName) { char *p, *q; int nLen=(_tcslen(pszName) + 1) * sizeof(TCHAR); p=maloc(HEADER_SIZE + nLen); if(p) { q = p + HEADER_SIZE; _tcscpy((TCHAR*)q, pszName); } /* etc */ 　　这段代码是从堆中分配内存并复制一个字符串，在字符串的开头留一个HEADER_SIZE的大小。假设UNICODE定义了，那么该字符串就是一个widechar字符串。如果HEADER_SIZE是一个偶数，这段代码就会正常工作，但如果HEADER_SIZE为奇数，这段代码就会出错，因为q指向的地址也将为奇数。 　　注意，当你在Intel系列处理器中的Windows CE仿真器上测试这段代码时，这个问题是不会发生的。 　　在这个例子中，只要确保HEADER_SIZE为偶数，你就可以避免问题的发生。然而，在某些情况下你也许不能这么做。例如，如果程序是从一台式PC输入数据，你也许不得不采用事先定义过的二进制格式，尽管它对H/PC不适合。在这种情况下，你必须采用函数，这些函数用字符指针控制字符串而不是TCHAR指针。如果你知道字符串的长度，就可以用memcpy()复制字符串。因此，采用逐个字节分析Unicode字符串的函数也许足以确定字符串在widechars中的长度。 4. 在ANSI和Unicode字符串之间进行翻译 　　如果你的Windows CE应用程序接口于台式PC，也许你必须操作PC机中的ANSI字符串数据（例如，char字符串）。即使你在程序中只用到Unicode字符串，这都是事实。 　　你不能在Windows CE上处理一个ANSI字符串，因为没有操纵它们的库函数。最好的解决办法是将ANSI字符串转换成Unicode字符串用到H/PC上，然后再将Unicode字符串转换回ANSI字符串用到PC上。为了完成这些转换，可采用MultiByteToWideChar()和WideCharToMultiByte () Win32 API 函数。 5. 对于Windows CE 1.0的字符串转换，劈开（hack） 　　在Windows CE 1.0 版本中，这些Win32API函数还没有完成。所以如果你想既要支持CE 1.0又能支持CE 2.0，就必须采用其它函数。将ANSI字符串转换成Unicode字符串可以用wsprintf()，其中第一个参数采用一widechar字符串，并且认识"%S"(大写)，意思是一个字符串。由于没有wsscanf() 和 wsprintfA()，你必须想别的办法将Unicode字符串转换回ANSI字符串。由于Windows CE 1.0不在国家语言支持(NLS)中，你也许得求助于hack，如下所示： /* Definition / prototypes of conversion functions Multi-Byte (ANSI) to WideChar (Unicode) atow() converts from ANSI to widechar wtoa() converts from widechar to ANSI */ #if ( _WIN32_WCE >= 101) #define atow(strA, strW, lenW) / MultiByteToWidechar (CP_ACP, 0, strA, -1, strW, lenW) #define wtoa(strW, strA, lenA) / WideCharToMutiByte (CP_ACP, 0, strW, -1, strA, lenA, NULL, NULL) #else /* _WIN32_WCE >= 101)*/ /* MultiByteToWideChar () and WideCharToMultiByte() not supported on Windows CE 1.0 */ int atow(char *strA, wchar_t *strW, int lenW); int wtoa(wchar_t *strW, char *strA, int lenA); endif /* _WIN32_WCE >= 101*/ #if (_WIN32_WCE <101) int atow(char *strA, wchar_t *strW, int lenW) { int len; char *pA; wchar_t *pW; /* Start with len=1, not len=0, as string length returned must include null terminator, as in MultiByteToWideChar() */ for(pA=strA, pW=strW, len=1; lenW; pA++, pW++, lenW--, len++) { *pW = (lenW = =1) ? 0 : (wchar_t)( *pA); if( ! (*pW)) break; } return len; } int wtoa(wxhar_t *strW, char *strA, int lenA) { int len; char *pA; wchar_t *pW; /* Start with len=1,not len=0, as string length returned Must include null terminator, as in WideCharToMultiByte() */ for(pA=strA, pW=strW, len=1; lenA; pa++, pW++, lenA--, len++) { pA = (len==1)? 0 : (char)(pW); if(!(*pA)) break; } return len; } #endif /*_WIN32_WCE<101*/ 　　这种适合于Windows CE 1.0的实现办法比使用wsprintf()函数要容易，因为使用wsprintf()函数更难以限制目标指针所指向的字符串的长度。 6. 选择正确的字符串比较函数 　　如果你要分类Unicode标准字符串，你会有以下几个函数可供选择： wcscmp(), wcsncmp(), wcsicmp(), 和wcsnicmp() wcscoll(), wcsncoll(), wcsicoll(),和wcsnicoll() CompareString() 　　第一类函数可用来对字符串进行比较，不参考当地（Locale）或外文字符。如果你永远不想支持外文，或者你仅仅想测试一下两个字符串的内容是否相同，这类函数非常好用。 　　第二类函数使用现有的当地设置(current locale settings)（系统设置，除非你在字符串比较函数之前调用了wsetlocale()函数）来比较两个字符串。这些函数也能正确分类外文字符。如果当地的字符"C"（"C" locale）被选定，这些函数与第一类函数就具有了相同的功能。 　　第三类函数是Win32函数CompareString()。这个函数类似于第二类函数，但是它允许你指定当地设置（the locale）作为一个参数，而不是使用现有的当地设置(current locale settings)。CompareString()函数允许你选择性地指定两个字符串的长度。你可以将第二个参数设置为NORM_IGNORECASE，从而使函数比较字符串时不比较大小写。 　　通常，即使不将第二个参数设置为NORM_IGNORECASE，CompareString()函数也不用来区分大小写。我们经常用wcsncoll()函数来区分大小写，除非使用当地的字符"C"（"C" locale）。所以，在我们的代码中，不使用CompareString()函数来区分大小写，而用wcsncoll()函数来区分大小写 7. 不要使用相对路径 　　与Windows NT不一样，Windows CE没有当前目录这个概念，因此，任何路径只是相对于根目录而言的。如果你的软件给文件或目录使用相对路径，那么你很可能把它们移到别的地方了。例如，路径"./abc"在Windows CE中被当作"/abc"看待。 8．移走了对calloc()和 time()函数的调用 　　C运行库中的calloc()函数不能使用，但是malloc()函数可以代替calloc()函数。并且不要忘记，calloc()函数初始化时分配的内存为零，而malloc()函数不一样。同样，time()函数也不能使用，但你可以使用Win32函数GetSystemTime()函数代替time()函数。 　　经过以上的警告后，你会高兴地学习最后令你惊讶的两点忠告。 9. 不需要改变Win32 输入/输出（I/O）文件的调用 　　Win32的输入输出函数，Windows CE也支持。允许你象访问Win32文件系统那样访问对象。CreateFile()函数在Windows CE中不能辩认标志FILE_FLAG_RANDOM_ACCESS，但是这个标志仅用作可选的磁盘访问，并且不影响函数调用的功能。 10. 不要担心字节的状态 　　当我们把应用程序写入Windows CE时，有了一个美好的发现，那就是Windows CE的数字数据类型的字节状态与Intel结构的字节状态一样，在所有的处理器上，Windows CE均支持。 　　几乎象所有的数据库引擎一样，Raima数据库管理器在数据库文件中以二进制形式保存数字数据。这就意味一个记录无论何时写入数据库或从数据库读出，均被当作一系列的字节来处理，不管它域的内容。只要数据库文件不要传给别的任何系统，数字数据的字节状态问题就解决了。如果数据库文件被一个来自原始系统且带有不同字节状态的处理器访问，数字数据将被误解。 　　无论何时，当你在拥有不同处理器的机器上传输文件时，就会出现这个问题。在这个问题上，值得高兴的是所有类型的处理器都使用相同的字节状态。 #include <stdio.h> #include <string.h> main() { char string[]="string to TTsearch"; char test[]="Tsear"; /* strstr returns a pointer into 'string' * if 'test' is found' if not found, NULL * is returned. */ char *p = strstr(string, test) ; printf("%s", *p);