cnbook/TextPro6应用1:“字符实体”类型邮件乱码的分析

cnbook/TextPro6应用1:“字符实体”类型邮件乱码的分析

假设你收到一封邮件,邮件的内容是:

À´ÐÅÊÕµ½£¬Ð»Ð»

你能分析出这封邮件其实是在说“来信收到,谢谢”吗?本文讨论了这种乱码的由来,介绍了一种简单的解码方法。

1 乱码由来

很多情况都会产生乱码,处理的方法也各不相同。本文所说的这种乱码,它的文本中包含大量类似“À´”这样的字符串。熟悉HTML的朋友都知道这些字符串就是HTML中的字符实体。

1.1 字符实体

HTML为一些字符定义了特殊的表示方式,即字符实体。字符实体有两种形式:命名实体和数字实体。命名实体的格式是:

&字符名称;

例如“&”表示“&”,“À”表示“À”。数字实体的格式是:

&#字符的10进制Unicode编码;

例如“&”表示“&”,“À”表示“À”。

1.2 产生乱码

我们可以用CodeView查看“来信收到,谢谢”的编码,它的GBK编码是:

C0 B4 D0 C5 CA D5 B5 BD A3 AC D0 BB D0 BB

有的软件系统不支持中文,它把这些非ASCII字符(字节高位为1)用命名实体表示。例如用“À”表示C0,用“´”表示B4,这样就产生了前面提到的乱码:

À´ÐÅÊÕµ½£¬Ð»Ð»

2 解析乱码

解析这种乱码的方法是很明显的:

  1. 将命名实体或数字实体映射到对应的编码。
  2. 用常见的编码方式分析文本编码,得到有意义的文本。

根据这个思路,我们可以写一个小程序实现解码功能。不过我目前没时间写这个程序。本文介绍的方法是用我以前写的两个小工具解码: cnbook下载) 和 CodeView。CodeView可以查看文字编码。cnbook是我为自己定制的记事本(未完成)。

假设我们已经得到乱码邮件对应的编码,例如“C0 B4 D0 C5 CA D5 B5 BD A3 AC D0 BB D0 BB”,我们可以在CodeView中将编码转换到文本。我们可以按照GBK、big5等常见编码方式解码,直到得到有意义的文本。那么我们怎么从乱码邮件地得到CodeView期望的文本形式的编码呢?我们可以用cnbook的“自定义替换表”。

2.1 解析过程

cnbook允许用户自定义一张替换表,然后按照替换表中的所有替换对,替换指定或全部文本。我已经定义并装载了一张转换字符实体的替换表,下面简单描述解码过程:

  1. 将要分析的乱码复制到cnbook。
  2. 通过右键菜单选择“自定义替换->字符实体到编码”,就可以将乱码文本映射到编码。

  3. 将编码文本复制到CodeView,将编码转换到文本。

3.3节会介绍这张替换表作了哪些替换。

3 cnbook/TextPro6的替换功能

简要介绍与本文有关的cnbook功能。这里的介绍也适用于TextPro6

3.1 自定义替换

要使用cnbook的自定义替换功能,用户要先准备一张替换表。替换表是一个文本文件,每行的格式是:

源字符串=目标字符串

注释行以“=”开头。如果字符串包含“=”,必须写成“\=”。如果字符串包含“\”,必须写成“\\”。准备好替换表后,在cnbook中通过“设置->自定义替换表”进入自定义替换表的设置。

cnbook允许用户设置30张自定义替换表。选择要设置的替换表序号,点击“设置”按钮选择替换表源文件。点击“选项”按钮设置替换选项。“字符实体到编码”替换表的选项是:

设置后好,就可以通过编辑菜单或右键菜单执行自定义替换了。cnbook将替换表源文件和替换选项保存到cnbook所在目录的文件“tables\n.tab”,其中n是替换表序号。替换表的作者只要发布tab文件,其它用户就可以分享他的替换表。一个较好的做法是在发布tab文件的同时发布替换表源文件,在源文件开头用注释行说明替换选项。

3.2 替换选项

“使用转义符”选项设置是否解释替换字符串中的转义符。cnbook目前支持以下转义符:

\\ 字符'\'
\n 代表连续的回车符(0D)和换行符(0A)
\t 制表符(09)
\x"1-6位16进制数" 代表16进制Unicode编码对应的字符。
例如“\xA0”就是Unicode编码为0xA0的字符。
在替换表源文件中,“\”要写成“\\”。

还有一个需要解释的选项就是“快速替换”。这个选项控制替换的过程:

  1. 如果没有选择“快速替换”,替换表的执行过程就是顺序执行替换表中的每组替换。执行每组替换都会扫描全部文本,后面一次替换是在前面一次替换的结果上进行的。这时,替换的顺序可能影响替换的结果。
  2. “快速替换”只扫描一次文本。程序首先计算替换表源字符串的最大长度。扫描时从这个最大长度开始在替换表中查找匹配的源字符串。所以“快速替换”在每个扫描点会优先匹配最长的字符串。“快速替换”不支持正则表达式,因为使用正则表达式的源字符串匹配的字符串长度可能是变化的。

3.3 “字符实体到编码”替换了什么?

在替换表的设置对话框中,点击浏览按钮可以查看替换表内容,读者也可以阅读src目录的源文件。这张替换表中包含3组替换:

  1. 将编码255以内(含255,下同)的100个命名实体替换到对应的编码文本。
  2. 将编码128-255的128个数字实体替换到对应的编码文本。
  3. 将编码255以内的194个字符替换到对应的编码文本。这194个字符包括这个范围内的全部191个可打印字符以及3个常用的控制符:09、0D、0A。

从替换表的内容可见,“字符实体到编码”可以将编码在255以内的源文本全部替换成对应的编码。

结束语

本文介绍了怎么使用cnbook的自定义替换。 cnbook下载)的设计目标是一个快速、小巧、灵活的文本处理工具。可惜我没有时间完善它。我觉得至少还要加上“列模式”、“列出包含字符串的行”、“输入法感知”,我才可能把它作为默认的文本编辑器。不过,cnbook对四字节汉字的支持还是不错的,功能上也略强于“记事本”。

阅读更多

没有更多推荐了,返回首页