字符编码中空码处理

最近碰上的一个小坑，简单记录一下吧

首先项目里使用的GBK编码，但是游戏里有玩家使用非GBK编码和GBK编码中的空码取名。导致玩家名字是一个空白或者问号之类的东西，这个是空白还是问号，是根据使用的字体来决定的。

这样就引出两个问题
1.检测玩家输入字符是否是GBK编码
2.检测玩家输入字符是否是GBK编码的中的空码

问题1其实是挺好解决的，因为GBK编码对字符的二进制格式有规定的。
在GBK编码中第一字节的范围是81–FE，第二字节的一部分领域在40–FE，根据这个就很容判断是否为GBK编码。

但是，GBK编码自身就是有空码的，就是GBK字符集中就存在还没使用的地方，比如A958这个字符，高字节为A9，低字节为58，大家可以查一查GBK的码表，可以发现这个确实符合GBK定义，但是这个位置保留了，没有使用。并且这种保留是大部分编码都有的，不仅仅是GBK编码会出现这个问题，其他编码也会出现这种情况。并且这种保留并非是规律的。

这样其实程序很难处理，但是同事告诉我，他用过一个iconv的gun开源软件可以处理这种无效字符。所以我接着去找了iconv的源码，发现iconv用来一种很暴力，但是很有效的方法，那就是把字符集直接映射到数组上，简单来说就是有人按码表顺序填了一个大数组出来，用某个值代表这个这个字符是空码。

我唯一疑惑一点就是这种数组是如何生成的，感觉上来说不像是用人工去一个一个填出来。如果使用自动生成就需要一定规律，emmm是个疑惑的地方。