Windows系统Vim编辑器乱码解决分析

貌似之前就有遇到过在windows系统下vim出现中文乱码的情况，只是用得较少而且也懒得去捣鼓它/// 这问题直到昨晚因为试用了个 Caspatant同学介绍的一款用于实现twitter客户端功能Vim插件--- TwitVim的时候查看消息的时候出现的根本都是乱码。。。所以决定搞定关于Vim编辑器编码方式导致中文乱码的问题///

      上网了解了下才知道原来Vim有四个跟字符编码方式有关的选项，分别是：encoding、fileencoding、fileencodings、 termencoding (这些选项可能的取值请参考 Vim 在线帮助 :help encoding-names)，它们各自的意义:
      * encoding: Vim 内部使用的字符编码方式，包括 Vim 的 buffer (缓冲区)、菜单文本、消息文本等。用户手册上建议只在 .vimrc 中改变它的值，事实上似乎也只有在 .vimrc 中改变它的值才有意义。
      * fileencoding: Vim 中当前编辑的文件的字符编码方式，Vim 保存文件时也会将文件保存为这种字符编码方式 (不管是否新文件都如此)。
      * fileencodings: Vim 启动时会按照它所列出的字符编码方式逐一探测即将打开的文件的字符编码方式，并且将 fileencoding 设置为最终探测到的字符编码方式。因此最好将 Unicode 编码方式放到这个列表的最前面，将拉丁语系编码方式 latin1 放到最后面。
      * termencoding: Vim 所工作的终端 (或者 Windows 的 Console 窗口) 的字符编码方式。这个选项在 Windows 下对我们常用的 GUI 模式的 gVim 无效，而对 Console 模式的 Vim 而言就是 Windows 控制台的代码页，并且通常我们不需要改变它。
      由于 Unicode 能够包含几乎所有的语言的字符，Unicode的 UTF-8 编码方式又是非常具有性价比的编码方式，因此encoding 的值设置为utf-8。同时将encoding设置为utf-8时，Vim自动探测文件的编码方式会更准确。在中文 Windows里编辑的文件，为了兼顾与其他软件的兼容性，文件编码还是设置为GB2312/GBK比较合适，因此fileencoding建议设置为 chinese (chinese 是个别名，在Unix里表示gb2312，在Windows里表示cp936，也就是GBK的代码页)。
      最终对于文件中显示乱码、菜单乱码、右键菜单乱码以及Conlse输出乱码问题的解决方案，修改Vim编辑器所对应的配置文件_vimrc，添加如下配置：
   
      "处理文本中显示乱码
      set encoding=utf-8
      set fileencodings=utf-8,chinese,latin-1
      if has("win32")
      set fileencoding=chinese
      else
      set fileencoding=utf-8
      endif
   
      "处理菜单及右键菜单乱码
      source $VIMRUNTIME/delmenu.vim
      source $VIMRUNTIME/menu.vim
   
      "处理consle输出乱码
      language messages zh_CN.utf-8

      关于Vim的支持多字符编码方式工作的运作原理是：
      首先、Vim 启动，根据_vimrc配置文件中设置的encoding的值来设置buffer、菜单文本、消息文的字符编码方式。
      紧接、读取要编辑的文件，根据fileencodings中列出的字符编码方式逐一探测该文件编码方式。并设置fileencoding 为探测到的字符编码方式。
      然后、对比fileencoding和encoding的值，若不同则调用iconv将文件内容转换为encoding所描述的字符编码方式，并且把转换后的内容放到为此文件开辟的buffer里，完成后就可以开始编辑这个文件。
      最后、编辑完成后保存文件时，再次对比fileencoding和encoding的值。若不同再次调用iconv将即将保存的buffer中的文本转换为fileencoding所描述的字符编码方式，并保存到指定的文件中。

注：需要调用外部的iconv.dll，需要保证这个文件存在于$VIMRUNTIME或者其他列在PATH环境变量中的目录里。

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在 Vim 中， 有四个与编码有关的选项， 它们是： fileencodings、 fileencoding、 encoding 和 termencoding。 在实际使用中， 任何一个选项出现错误， 都会导致出现乱码。 因此， 每一个 Vim 用户都应该明确这四个选项的含义。 下面， 我们详细介绍一下这四个选项的含义和作用。

1 encoding

encoding 是 Vim 内部使用的字符编码方式。 当我们设置了 encoding 之后， Vim 内部所有的 buffer、 寄存器、 脚本中的字符串等， 全都使用这个编码。 Vim 在工作的时候， 如果编码方式与它的内部编码不一致， 它会先把编码转换成内部编码。 如果工作用的编码中含有无法转换为内部编码的字符， 在这些字符就会丢失。 因此，在选择 Vim 的内部编码的时候， 一定要使用一种表现能力足够强的编码， 以免影响正常工作。

由于 encoding 选项涉及到 Vim 中所有字符的内部表示， 因此只能在 Vim 启动的时候设置一次。 在 Vim 工作过程中修改 encoding 会造成非常多的问题。 如果没有特别的理由， 请始终将 encoding 设置为 utf-8。 为了避免在非 UTF-8 的系统如 Windows 下， 菜单和系统提示出现乱码， 可同时做这几项设置：

set encoding=utf-8
set langmenu=zh_CN.UTF-8
language message zh_CN.UTF-8
2 termencoding

termencoding 是 Vim 用于屏幕显示的编码， 在显示的时候， Vim 会把内部编码转换为屏幕编码， 再用于输出。 内部编码中含有无法转换为屏幕编码的字符时， 该字符会变成问号， 但不会影响对它的编辑操作。 如果 termencoding 没有设置， 则直接使用 encoding 不进行转换。

举个例子， 当你在 Windows 下通过 telnet 登录 Linux 工作站时， 由于 Windows 的 telnet 是 GBK 编码的， 而 Linux 下使用 UTF-8 编码， 你在 telnet 下的 Vim 中就会乱码。 此时有两种消除乱码的方式： 一是把 Vim 的 encoding 改为 gbk， 另一种方法是保持 encoding 为 utf-8， 把 termencoding 改为 gbk， 让 Vim 在显示的时候转码。 显然， 使用前一种方法时， 如果遇到编辑的文件中含有 GBK 无法表示的字符时， 这些字符就会丢失。 但如果使用后一种方法， 虽然由于终端所限， 这些字符无法显示， 但在编辑过程中这些字符是不会丢失的。

对于图形界面下的 GVim， 它的显示不依赖 TERM， 因此 termencoding 对于它没有意义。 在 GTK2 下的 GVim 中， termencoding 永远是 utf-8， 并且不能修改。 而 Windows 下的 GVim 则忽略 termencoding 的存在。

3 fileencoding

当 Vim 从磁盘上读取文件的时候， 会对文件的编码进行探测。 如果文件的编码方式和 Vim 的内部编码方式不同， Vim 就会对编码进行转换。 转换完毕后， Vim 会将 fileencoding 选项设置为文件的编码。 当 Vim 存盘的时候， 如果 encoding 和 fileencoding 不一样， Vim 就会进行编码转换。 因此， 通过打开文件后设置 fileencoding， 我们可以将文件由一种编码转换为另一种编码。 但是， 由前面的介绍可以看出， fileencoding 是在打开文件的时候， 由 Vim 进行探测后自动设置的。 因此， 如果出现乱码， 我们无法通过在打开文件后重新设置 fileencoding 来纠正乱码。

4 fileencodings

编码的自动识别是通过设置 fileencodings 实现的， 注意是复数形式。 fileencodings 是一个用逗号分隔的列表， 列表中的每一项是一种编码的名称。 当我们打开文件的时候， VIM 按顺序使用 fileencodings 中的编码进行尝试解码， 如果成功的话， 就使用该编码方式进行解码， 并将 fileencoding 设置为这个值， 如果失败的话， 就继续试验下一个编码。

因此， 我们在设置 fileencodings 的时候， 一定要把要求严格的、 当文件不是这个编码的时候更容易出现解码失败的编码方式放在前面， 把宽松的编码方式放在后面。

例如， latin1 是一种非常宽松的编码方式， 任何一种编码方式得到的文本， 用 latin1 进行解码， 都不会发生解码失败 —— 当然， 解码得到的结果自然也就是理所当然的“乱码”。 因此， 如果你把 latin1 放到了 fileencodings 的第一位的话， 打开任何中文文件都是乱码也就是理所当然的了。

以下是滇狐推荐的一个 fileencodings 设置：

set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1
其中， ucs-bom 是一种非常严格的编码， 非该编码的文件几乎没有可能被误判为 ucs-bom， 因此放在第一位。

utf-8 也相当严格， 除了很短的文件外 (例如许多人津津乐道的 GBK 编码的“联通”被误判为 UTF-8 编码的经典错误)， 现实生活中一般文件是几乎不可能被误判的， 因此放在第二位。

接下来是 cp936 和 gb18030， 这两种编码相对宽松， 如果放前面的话， 会出现大量误判， 所以就让它们靠后一些。 cp936 的编码空间比 gb18030 小， 所以把 cp936 放在 gb18030 前面。

至于 big5、euc-jp 和 euc-kr， 它们的严格程度和 cp936 差不多， 把它们放在后面， 在编辑这些编码的文件的时候必然出现大量误判， 但这是 Vim 内置编码探测机制没有办法解决的事。 由于中国用户很少有机会编辑这些编码的文件， 因此我们还是决定把 cp936 和 gb18030 前提以保证这些编码的识别。

最后就是 latin1 了。 它是一种极其宽松的编码， 以至于我们不得不把它放在最后一位。 不过可惜的是， 当你碰到一个真的 latin1 编码的文件时， 绝大部分情况下， 它没有机会 fall-back 到 latin1， 往往在前面的编码中就被误判了。 不过， 正如前面所说的， 中国用户没有太多机会接触这样的文件。

如果编码被误判了， 解码后的结果就无法被人类识别， 于是我们就说， 这个文件乱码了。 此时， 如果你知道这个文件的正确编码的话， 可以在打开文件的时候使用 ++enc=encoding 的方式来打开文件， 如：

:e ++enc=utf-8 myfile.txt

5 fencview

根据前面的介绍， 我们知道， 通过 Vim 内置的编码识别机制， 识别率是很低的， 尤其是对于简体中文 (GBK/GB18030)、 繁体中文 (Big5)、 日文 (euc-jp) 和韩文 (euc-kr) 之间的识别。 而对于普通用户而言， 肉眼看出一个文件的编码方式也是很不现实的事情。 因此， 滇狐强烈推荐水木社区的 mbbill 开发的 fencview 插件。 该插件使用词频统计的方式识别编码， 正确率非常高。 点击 这里 下载。