Linux入职基础-2.9_文件编码转换

文件编码转换

上回整理一篇文章《字符编码入门》，目的给大家在面对文件乱码时有一定的知识基础的准备，当你在Linux系统中操作文件出乱码时，不至于很慌乱！

一般来说简体中文版Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8，所以我们国人经常遇到文件乱码，这时需要知道如何进行编码转换。

一：本机环境

linux系统的系统语言设置为：

[root@localhost test_case]# cat /etc/sysconfig/i18n

LANG="en_US.UTF-8"

SYSFONT="latarcyrheb-sun16"

本次会话终端putty，其环境如下：

在上章节《字符编码入门》，我们把测试案例所有使用的不同编码格式的文件拷贝到Linux系统，如下

上述文件名含义代表该文件编码格式，其中内容均为“Aa123中国严”，现在我们使用vim编辑器逐个打开各个文件，查看其中内容显示情况，如下：

 [root@localhost case_2]# vim ansi01.txt

[root@localhost case_2]# vim ansi02.txt

[root@localhost case_2]# vim GB2312\(936\).txt

[root@localhost case_2]# vim GB18030\(54936\).txt

[root@localhost case_2]# vim Unicode_big_endian.txt

[root@localhost case_2]# vim Unicode.txt

[root@localhost case_2]# vim big5\(950\).txt

[root@localhost case_2]# vim ISO-8859-1\(28591\).txt

[root@localhost case_2]# vim utf-8.txt

[root@localhost case_2]# vim UTF-8\(BOM\).txt

大家肯定都在想这是为何？如何解决？

不急，先让我们来了解上述这些文件编码格式在Linux系统中是如何是否能被正常识别的。

二，查看文件编码格式

在Linux中查看文件编码可以通过以下几种方式：

2.1、file命令

查看了文件的信息：file -i  filename

Linux（file命令）与window系统的对比如下：

文件名	Windows保存编码格式	Linux识别编码格式（file命令）
ansi01.txt	ANSI	us-ascii
ansi02.txt	ANSI	iso-8859-1
ISO-8859-1(28591).txt	ISO-8859-1( latin-1)	us-ascii
GB2312(936).txt	GB2312	iso-8859-1
GB18030(54936).txt	GB18030	iso-8859-1
big5(950).txt	big5	iso-8859-1
Unicode.txt	Unicode	utf-16
Unicode_big_endian.txt	Unicode_big_endian	utf-16
UTF-8(BOM).txt	UTF-8(BOM)	utf-8
UTF-8.txt	UTF-8	utf-8

从上表汇总得出结论：file命令有自动识别文件编码格式的机制，但是还有些是无法正确识别出来，比如上述表中就可以看出来。

有人说vim命令一定准确识别出来，接下来我们来看看使用vim命令情况。

2.1、vim命令

    在Vim中可以直接查看文件编码的方法：

输入:setfileencoding    #可显示文件编码格式。

我们还是使用上述文件为例，如下：

[root@localhost case_2]# vim ansi01.txt

:set fileencoding

fileencoding=utf-8

[root@localhost case_2]# vim ansi02.txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim ISO-8859-1\(28591\).txt

:set fileencoding

fileencoding=utf-8

[root@localhost case_2]# vim GB2312\(936\).txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim GB18030\(54936\).txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim big5\(950\).txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim Unicode.txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim Unicode_big_endian.txt

:set fileencoding

fileencoding=latin1

[root@localhost case_2]# vim utf-8.txt

:set fileencoding

fileencoding=utf-8

[root@localhost case_2]# vim UTF-8\(BOM\).txt

:set fileencoding

fileencoding=utf-8

Linux（file、vim命令）与window系统的对比如下：

文件名	Windows编码格式	Linux编码格式 （file命令）	Linux编码格式 （vim命令）
ansi01.txt	ANSI	us-ascii	utf-8
ansi02.txt	ANSI	iso-8859-1	latin1
ISO-8859-1(28591).txt	ISO-8859-1(又称 latin-1)	us-ascii	utf-8
GB2312(936).txt	GB2312	iso-8859-1	latin1
GB18030(54936).txt	GB18030	iso-8859-1	latin1
big5(950).txt	big5	iso-8859-1	latin1
Unicode.txt	Unicode	utf-16	latin1
Unicode_big_endian.txt	Unicode_big_endian	utf-16	latin1
UTF-8(BOM).txt	UTF-8(BOM)	utf-8	utf-8
UTF-8.txt	UTF-8	utf-8	utf-8

上述表中可以看出，vim识别文件编码貌似更不行，其实真实情况不是这样的！

Vim和所有的流行文本编辑器一样，可以很好的编辑各种字符编码的文件，当然包括GB系列、UTF-8 等流行的编码方式，因为，需要你自己动手设置。

三、如何设置vim才能正确识别文件编码格式？

首先需要了解vim启动多字符编码工作的原理。

①vim启动时，读取~/.vimrc中设置的encoding 的值来设置 buffer、菜单文本、消息文的字符编码方式。

②读取需要编辑的文件，根据 fileencodings 中列出的字符编码方式逐一探测该文件编码方式。并设置fileencoding 为探测到的字符编码方式。

③对比fileencoding和 encoding 的值，若不同则调用 iconv程序将文件内容转换为encoding 所描述的字符编码方式（完成这一步动作需要调用外部的 iconv.dll），并且把转换后的内容放到为此文件开辟的 buffer 里，此时我们就可以开始编辑这个文件了。

④ 编辑完成后保存文件时，再次对比 fileencoding 和 encoding 的值。若不同，再次调用 iconv 将即将保存的 buffer 中的文本转换为 fileencoding 所描述的字符编码方式，并保存到指定的文件中。

⑤一般vim 运行工作于终端（term,如/dev/console，/dev/tty1~6）环境或终端模拟软件当中（如puTTY,telnet等）。终端的编码方式为termencoding，如果vim所在的term与vim编码相同，则无需设置。否则，你可以用vim的termencoding选项将自动转换成term 的编码方式。

从多字符编码工作原理中不难看出，跟vim字符编码方式有关的选项，encoding、fileencoding、fileencodings、termencoding。接下来我们具体了解下它们的使用。

★encoding：vim 内部使用的字符编码方式，默认是根据你的locale选择，包括 Vim 的 buffer (缓冲区)、菜单文本、消息文本等。

★fileencoding：vim中当前编辑的文件的字符编码方式.vim 保存文件时也会将文件保存为这种字符编码方式 (不管是否新文件都如此)。

★fileencodings：vim探测fileencoding的顺序列表，启动时会按照它所列出的字符编码方式逐一探测即将打开的文件的字符编码方式，并且将 fileencoding 设置为最终探测到的字符编码方式。因此最好将Unicode 编码方式放到这个列表的最前面，将拉丁语系编码方式 latin1 放到最后面。

★termencoding：vim 所工作的终端 (或者 Windows 的Console 窗口) 的字符编码方式。

现在我们可以在~/.vimrc 文件中添加以下内容：

set encoding=utf-8

fileencodings=ucs-bom,utf-8,cp936