Erlang 中文简体字 GB2312 转 unicode 的办法(2)

建立编码转换表，可用任何支持unicode的语言，我用的是Python。

def to_unicode():

    f = open('gb2u.erl','w')

    for row in range(176,248):

        for col in range(1,95):

            ch1 = chr(row)

            ch2 = chr(col+160)

            w = ch1+ch2

            u=w.encode('utf8')

            u=u.decode('utf8')

            s='put({%s,%s},%s),/n'%(str(row),str(col+160),str(ord(u)))

            f.write(s)

    f.close()

这里唠叨点编码常识。

常见GB2312属于区位码的说法。“区位”其实就是二维数组，“区”对应“行”row，“位”对应“列”col。

汉字编码的第一字节是行号，第二字节是列号，它们的编码值减去160后，就看出来了。

for row in range(176,248) 这里的176-160=16，即码表的第16区（行），248-160-1=87，第87区（行）。

for col in range(1,95) 每一区（行）有94个汉字（好像第55区少5个）。表示第二字节时，编码要加上160。  

unicode是怎样一回事？下面是我的理解，也可能是胡说八道。

unicode编码是个逻辑概念，utf8,utf16,utf32,是其物理实现。

例如，在Erlang中：

3> S=unicode:characters_to_list("中国").   

[20013,22269]

4> unicode:characters_to_binary(S).      

<<228,184,173,229,155,189>>

5> 

列表[]中是2个unicode编码，它们在内存中的实际表示是<<>>中的6个字节。

好了，继续说上面的程序。运行后，它生成文件 gb2u.erl，约有150KB大小，内容是：

put({176,161},21834),

put({176,162},38463),

put({176,163},22467),

……

put({247,254},40772),

在文本编辑器中修改它：

-module(gb2u).

-export([start/0,get_unicode/2]).

get_unicode([],U) -> lists:reverse(U);

get_unicode([A|T],U) when A < 128 ->

   get_unicode(T,[A|U]);

get_unicode([A,B|Z],U) -> 

   H = get({A,B}),

   get_unicode(Z,[H|U]).

start() ->

put({176,161},21834),

put({176,162},38463),

put({176,163},22467),

……

put({247,254},40772).

注意最后一行的结尾句号。

在OS的shell中，erlc gb2u.erl 编译成 gb2u.beam，可由其他模块调用了。

调用模块gb2u，还有些说道，下次接着聊。