iconv命令详解

一、需求

我们大数据项目组，数据来源是各个源系统跑出来的文件，然后我们对这些文件进行处理，有些时候可能会存在乱码的问题，就需要转化一下格式

二、描述

• -f encoding :把字符从encoding编码开始转换。

• -t encoding :把字符转换到encoding编码。

• -l :列出已知的编码字符集合

• -o file :指定输出文件

• -c :忽略输出的非法字符

• -s :禁止警告信息，但不是错误信息

• –verbose :显示进度信息

• -f和-t所能指定的合法字符在-l选项的命令里面都列出来了。

三、举例

查看挡墙支持的字符编码

iconv -l 

查看当前文件的字符编码

file -i xxxxx

转换成utf-8

//第一个file是要转换的文件，然后转换结果追加到后面一个file
iconv -f gb18030 -t utf-8 -c xxxfile >xxxfile

也可
iconv  -f iso-8859-1 -t UTF-8 file1 -o file2