TalkOne即时通讯开发之编码

这几天一直被编码的事搞的头大，今天算是彻底解决，TalkOne即时通讯的后台是采用Erlang开发的，前端管理采用Ruby On Rails，因为会涉及到数据通讯的问题，考虑到性能或和扩展性方面，两者之间采用JSON进行的数据通讯，Erlang采用是的rfc4627，编码是utf-8的，但是在前两个这两个0字节，在ROR这边不能直接解码。因为涉及到utf-8和unicode的转化问题。

UTF-8编码字符理论上可以最多到6个字节长,然而16位BMP（Basic Multilingual Plane）字符最多只用到3字节长。下面看一下UTF-8编码表：

        U-00000000 - U-0000007F: 0xxxxxxx
        U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
        U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
        U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
        U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
        U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

 

当然在UTF-8到Unicode的转换也是通过移位等来完成的，就是把UTF-8那些格式相应的位置的二进制数给揪出来。在上述例子中“你”为三个字节，因此要每个字节进行处理，有高位到低位进行处理。在UTF-8中“你”为11100100,10111101,10100000。从高位起即第一个字节11100100就是把其中的"0100"给取出来，这个很简单只要和11111（0x1F）取与（&），由三字节可以得知最到位肯定位于12位之前，因为每次取六位。所以还要将得到的结果左移12位，最高位也就这样完成了0100,000000,000000。而第二位则是要把“111101”给取出来，则只需将第二字节10111101 和111111(0x3F)取与（&）。在将所得到的结果左移6位与最高字节所得的结果取或（|），第二位就这样完成了，得到的结果为 0100,111101,000000。以此类推最后一位直接与111111（0x3F）取与（&），再与前面所得的结果取或（|）即可得到结果 0100,111101,100000

因此用Ruby可以写出utf8转成unicode的主要代码
irb(main):023:0> irb
irb#1(main):001:0> a=0xE4
=> 228
irb#1(main):002:0> a & 0x1F
=> 4
irb#1(main):003:0> unicode =  ( a & 0x1F) << 12
=> 16384
irb#1(main):004:0> unicode |= ( 0xBD & 0x3F) << 6
=> 20288
irb#1(main):005:0> unicode |= ( 0xA0 & 0x3F)
=> 20320
irb#1(main):006:0>

上面是模拟验证运算，有了这个以后，就是分析json的字符串，通过正则表达式来匹配，注意utf-8过来有3个连接的编码，通过上述的转化，用过unpack("U")返回字符，这样的就页面就能显示正常中文了。