最近碰上的一个小坑,简单记录一下吧
首先项目里使用的GBK编码,但是游戏里有玩家使用非GBK编码和GBK编码中的空码取名。导致玩家名字是一个空白或者问号之类的东西,这个是空白还是问号,是根据使用的字体来决定的。
这样就引出两个问题
1.检测玩家输入字符是否是GBK编码
2.检测玩家输入字符是否是GBK编码的中的空码
问题1其实是挺好解决的,因为GBK编码对字符的二进制格式有规定的。
在GBK编码中第一字节的范围是81–FE,第二字节的一部分领域在40–FE,根据这个就很容判断是否为GBK编码。
但是,GBK编码自身就是有空码的,就是GBK字符集中就存在还没使用的地方,比如A958这个字符,高字节为A9,低字节为58,大家可以查一查GBK的码表,可以发现这个确实符合GBK定义,但是这个位置保留了,没有使用。并且这种保留是大部分编码都有的,不仅仅是GBK编码会出现这个问题,其他编码也会出现这种情况。并且这种保留并非是规律的。
这样其实程序很难处理,但是同事告诉我,他用过一个iconv的gun开源软件可以处理这种无效字符。所以我接着去找了iconv的源码,发现iconv用来一种很暴力,但是很有效的方法,那就是把字符集直接映射到数组上,简单来说就是有人按码表顺序填了一个大数组出来,用某个值代表这个这个字符是空码。
我唯一疑惑一点就是这种数组是如何生成的,感觉上来说不像是用人工去一个一个填出来。如果使用自动生成就需要一定规律,emmm是个疑惑的地方。