was中奇怪的生僻字乱码案例

问题描述

这个今天早上提供的一个生产问题。大体是说，改资料的时候，有个客户的名字有生僻字，叫”刘”,保存之后就乱码了，变成”刘?”

分析过程

乱码需要确认数据传输过程中编码方式。

1. 数据是通过jQuery的ajax过来的，并且没有提前处理数据(只有组装了一个js对象)，所以是采用encodeURIComponent进行处理的，对于中文可以很粗糙的理解成UTF-8编码过。这一点通过抓包工具是可以确认的。
2. 到了服务端之后会通过getParameter获取参数，由于带charsetEncoding的过滤器，并且是采用UTF-8的，那么这里拿到的字符串应该也是不会乱码的。

到了这里，代码并没有特别之处。按我的理解，只要字符集能够支持这个生僻字，就不会出现乱码。
难道保存到数据库的时候乱码了? 目前数据库是用GBK的，我去查了一下GBK的字符表，的确是有这么个字的。

我在本机上测了一下这个字的各种功能编码转换，都是正常的。
难道又是IBM的坑? 后来我又在服务器上测试了各种情况的输出，发现有另外一个字”䶮”,除了字体大小有点不一样之外，几乎一模一样的。

下面整理了一个简单的测试程序，来说明这个奇怪的问题。

测试结果

首先要说明的是，这里有2个字,一小一大,还有它们对应的unicode和utf-8编码。
测试结果是采用secureCRT的GB18030编码显示。

有两个字:       小        大
unicode        \uE863    \u4dae
浏览器(utf-8)   %EE%A1%A3  %E4%B6%AE

下面的测试代码，为了编译时不关心字符集，所以换成utf-8字节来生成字符串。