linux non-iso extended-ascii,Linux 下文件Non-ISO extended-ASCII编码问题

Linux下，有时候我们需要将文件转换为另外一种编码格式，如UTF-8，这个时候我们可以使用iconv工具转换，但是如果遇到不确定的编码，在转换的时候就很麻烦，比如Non-ISO extended-ASCII。现有一个文件SogouQ.mini，查看其编码如下：

[hadoopUser@secondmgt data]$ file SogouQ.mini

SogouQ.mini: Non-ISO extended-ASCII English text, with very long lines          如果直接转换会报以下错误

[hadoopUser@secondmgt data]$ iconv -t UTF-8 SogouQ.mini >log.txt

iconv: illegal input sequence at position 48          这时候我们可以使用以下方式一个一个查找其源编码

$ iconv --list | sed 's/\/\/$//' | sort > encodings.list

$ for a in `cat encodings.list`; do

printf "$a "

iconv -f $a -t UTF-8 systeminfo.txt > /dev/null 2>&1 \

&& echo "ok: $a" || echo "fail: $a"

done | tee result.txt           遍历result.txt文件中，查找尝试那些没有fail的编码方式。最后-f CP850 -t UTF-8对我的文件正好。使用如下命令转换：

iconv -f CP850 -t UTF-8 SogouQ.mini >SogouQueryLog.txt           查看转换后的文件编码：

[hadoopUser@secondmgt data]$ file SogouQueryLog.txt

SogouQueryLog.txt: UTF-8 Unicode English text, with very long lines          由结果可知：转换成功！