最近在做城市选择器的时候,有一个需求是需要把汉字转化成拼音,然后根据首字母进行列表排列,做网上找到了一份可用的源码,现在对其内部的原理进行解析,其中还有一两个点没完全理解,但是不妨碍对整体的理解,如果有知情网友,希望指正,欢迎探讨。
在文单的末尾有本程序的源代码,代码是经过验证的,除了一些生僻字词,基本能够解析目常的汉字。这里的分析,有大量的关于GBK编码的探讨,建议边调试程序,边翻阅编码集来辅助学习。
言归正传,我们开始解读源码。
首先那两个长长的数组,是拼音还有根据某种算法得出来的所谓ACRII码(我目前认识的ACRII码不是这样的)。上边的数组是ARCII,下面的一个数组很容易看出是一个拼音,我们先跳过这两个数组,接下来还会对它进行解析。
首先,使用这个类时,有两种解析方式,第一种是单字解析,另外一种当然的词组解析,当然,所谓的词组解析,其内部实际还是单字解析。
所以从程序的流动方向开始,我们来到程序起点,调用convert(String str)函数,这里传入一个汉字,紧接着,函数又调用了 getChsAscii(str)函数,在里里,同样传入我们一开始传入的汉字,这里我测试时传入了一个“通”字作为测试。
bytes = chs.getBytes("gb2312");
这里可以看得出来程序用的是gb2312编码的来解析汉字的。这里我简单补充一下比较重要的知识点。
GB2312基本集共收入汉字6763个和非汉字图形字符682个。整个字符集分成94个区,每区有94个位。每个区位上只有一个字符,因此可用所在的区和位来对汉字进行编码,称为区位码。
GB 2312中对所收汉字进行了“分区”处理,每区含有94个汉字/符号。这种表示方式也称为区位码。
01-09区为特殊符号。
16-55区为一级汉字,按拼音排序。
56-87区为二级汉字,按部首/笔画排序。
10-15区及88-94区则未有编码。
举例来说,“通”字是GB2312之中的第45区的第08个数,它的区位码就是45 08。
每个汉字及符号以两个字节来表示。第一个字节称为“高位字节”(“区字节”),第二个字节称为“低位字节”(也称“位字节”)。
由于GB2312的16-55区(一级汉字)涵盖了我们常用的3000多个汉字,而且又是以拼音来排序的,所以,我利用这一点,来实现我们的汉字转拼音的需求。
运行程序,得到一个{-51,-88},这里是我有疑问的地方,为什么得出来的是这样的一个数,目前,我还找不到它跟GBP312编码的关系,只知道,这个码只要两个数都加下256就会得到真正的汉字的内部编码。{205,168}
那么,这个{205,168}是根据什么才能算出来的呢?
GB 2312字元使用两个字节来表示。“第一位字节”使用0xB0-0xF7,“第二位字节”使用0xA1-0xFE。 所以,在我们的区位码的高字节和低字节分别加0xA0得到程序的汉字处理编码,上面说到,”通”字在编码表里查到的区位码是{45 08},注意,这里是两个字节的数,同时也是得分开的,那么0xA0=160,那么,”通”字的处理编码则为{205,168}。
处理完这个,接下来就是这个公式了,这里,我还不能完全弄懂为什么要用这个来计算,请高人指点!
asc = (256 * hightByte + lowByte) - 256 * 256;
从这个计算公式可以得到一个数字,这个数字,可能可以在第一个数组找到一模一样的数,也有可能找不到。这是因为,我们的汉字是同音字的原因,上边那个asc的计算,我估计也是这个原因,能够容纳足够多的同音字。
for (int i = (pyvalue.length - 1); i >= 0; i–) {
if (pyvalue[i] <= ascii) {
result = pystr[i]; break; }}
这里,从高向低遍历的原因是,可以使同音字拿到同样的拼音格式 词组的分析是相同的,这里不再缀述。
@慢行的狮子
public class CharacterParser {
private static int[] pyvalue = new int[] {
-20319, -20317, -20304, -20295, -20292, -20283, -20265, -20257, -20242, -20230, -20051, -20036, -20032, -20026, -20002, -19990, -19986, -19982, -19976, -19805, -19784, -19775, -19774, -19763, -19756, -19751, -19746, -19741, -19739, -19728,-19725, -19715, -19540, -19531, -19525, -19515, -19500, -19484, -19479, -19467, -19289, -19288, -19281, -19275, -19270, -19263, -19261, -19249, -19243, -19242, -19238, -19235, -19227, -19224, -19218, -19212, -19038, -19023, -19018, -19006, -19003, -18996, -18977, -18961,-18952, -18783, -18774, -18773, -18763, -18756, -18741, -18735, -18731, -18722, -18710, -18697, -18696, -18526, -18518, -18501, -18490, -18478, -18463, -18448, -18447, -18446, -18239, -18237, -18231, -18220, -18211, -18201, -18184, -18183, -18181, -18012, -17997, -17988,-17970, -17964, -17961, -17950, -17947, -17931, -17928, -17922, -17759, -17752, -17733, -17730, -17721, -17703, -17701, -17697, -17692,-17683, -17676, -17496, -17487, -17482, -17468, -17454, -17433, -17427, -17417, -17202, -17185, -16983, -16970, -16942, -16915, -16733,-16708, -16706, -16689, -16664, -16657, -16647</