判断字符串是否UTF8编码

 UTF8是以8bits即1Bytes为编码的最基本单位，当然也可以有基于16bits和32bits的形式，分别称为UTF16和UTF32，但目前用得不多，而UTF8则被广泛应用在文件储存和网络传输中。

　　编码原理

　　先看这个模板：

　　UCS-4 range (hex.) UTF-8 octet sequence (binary)

　　0000 0000-0000 007F 0xxxxxxx

　　0000 0080-0000 07FF 110xxxxx 10xxxxxx

　　0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx

　　0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

　　0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

　　0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx

　　编码步骤：

　　1) 首先确定需要多少个8bits(octets)

　　2) 按照上述模板填充每个octets的高位bits

　　3) 把字符的bits填充至x中，字符顺序：低位→高位，UTF8顺序：最后一个octet的最末位x→第一个octet最高位x

 

 根据UTF8编码,最多可由6个字节组成,所以UTF8是1-6字节编码组成

 

C++代码如下:

1. int IsTextUTF8(char* str,ULONGLONG length) 
2. { 
3.     int i; 
4.     DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节
5.     UCHAR chr; 
6.     BOOL bAllAscii=TRUE;  //如果全部都是ASCII,  说明不是UTF-8
7.     for(i=0;i<length;i++)
8.     { 
9.         chr=   *(str+i); 
10.         if(   (chr&0x80)   !=   0   )   // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx
11.             bAllAscii=   FALSE; 
12.         if(nBytes==0)     //如果不是ASCII码,应该是多字节符,计算字节数
13.         { 
15.             if(chr>=0x80)  
16.             {
17.                 if(chr>=0xFC&&chr<=0xFD)
18.                     nBytes=6;
19.                 else if(chr>=0xF8)
20.                     nBytes=5;
21.                 else if(chr>=0xF0)
22.                     nBytes=4;
23.                 else if(chr>=0xE0)
24.                     nBytes=3;
25.                 else if(chr>=0xC0)
26.                     nBytes=2;
27.                 else
28.                 {
29.                     return FALSE;
30.                 }
31.                 nBytes--;
32.             }
35.         } 
36.         else  //多字节符的非首字节,应为 10xxxxxx 
37.         { 
38.             if(   (chr&0xC0)   !=   0x80   )   
39.             { 
40.                 
41.                 return   FALSE; 
42.             } 
43.             nBytes--;                                                       
44.         } 
45.     } 
49.     if(   nBytes   >   0   ) //违返规则
50.     {      
51.         return   FALSE; 
52.     } 
54.     if(   bAllAscii   ) //如果全部都是ASCII,  说明不是UTF-8
55.     {          
56.         return   FALSE; 
57.     } 
59.     return   TRUE; 
60. }