GBK编码中汉字的提取

    在训练语音模型、整理用于文本搜索的语料库时，通常要需要从GBK编码中提取汉字。GBK编码是怎样的呢？在一堆ASCII码、图形字符、汉字中怎样提取汉字呢？我是这么做的。

    GB2312、GBK、ASCII编码如下所示：可见，难点在于[64 ~ 127]这个区间的判定。因为，64以下肯定不属于GBK编码，直接可以拿掉（或者转化为其它汉字，如1-->幺）；127以上肯定输入GBK编码，无需判断。

 Chinese character coding: http: // www.css8.cn/css8_document/gb2312.htm         
                                    the first  byte               the second  byte                          
 GB2312 coding:    0xB0 - 0xF7 ( 176 - 247 )        0xA0 - 0xFE ( 160 - 254 )                        
 GBK coding:         0x81 - 0xFE ( 129 - 254 )        0x40 - 0xFE ( 64 - 254 )                         
 ASCII coding:       one  byte ,  if  converted to signed number, it  is   >=   0  即[ 0 - 127 ], 
                              while  GBK  is   <   0 ,转换成unsigned 的话，是[ 128 - 255 ]。 

    假设一堆字符放在一个数组里，要从中提取汉字。

    第一步，拿掉不属于GBK编码范围的字符。[0 ~ 64)，[127]，[255]。

    第二步，从数组尾向数组头遍历。如果字符在[64 ~ 127)之内，则判断前一个字符，如果前一个不在[129 ~ 254]之内，则拿掉该字符。如果该字符是首字符（数组头），而且在[64 ~ 127]之内，直接拿掉。

    第三步，判断数组长度，如果为奇数；且遍历整个数组，只有一个字符在[0 ~ 127]范围内，拿掉该字符。（该步骤其实不需要也可。）

    第四步，如果数组有[0 ~ 127]之间的字符，则找到“第一个这样的字符”的位置。如果该字符位置不是1,3,5等奇数位，拿掉（因为第二步已经确保数组的首字符是GBK码了）。反复迭代这个过程N次。

    第五步，数组长度应该为偶数，且全部是GBK编码了。现在可以“以两个字节为单位”提取汉字了。

    第六步，每两个字节提取，判断范围如下，此范围之外，则拿掉。

//  first byte: 0x81 - 0xA0, second byte: 0x40 - 0xFE
//  first byte: 0xAA - 0xAF, second byte: 0x40 - 0xA0
//  first byte: 0xB0 - 0xF7, second byte: 0x40 - 0xFE
//  first byte: 0xF8 - 0xFE, second byte: 0x40 - 0xA0

对于搜索引擎，如果考虑中文图形字符、标点、半角与全角、字母等等，可以在以上步骤中嵌入处理过程。