linux的iconv出现总线错误吐核,iconv转换文件出错操作

今天在Linux 下使用 Iconv 命令转换一个UTF8文件时,总是转换不成功

iconv -f utf8 -t gb2312 aaa.txt > bbb.txt。

提示:

iconv: illegal input sequence at position 15

后来使用 man iconv 查看,还是没发现异常,因为命令格式都是正确的。后来找了许多资料才知道原因,如下:

a. 在做编码转换的时候,如果你的源格式设定为 GB2312 的话,而且在转换成 UTF-8 的时候,发现程序会报“illegal input sequence at position xxxx”的错误。这是由于你之前的做的假定有问题。 是国标里面一个最小也是最早的中文编码标准。其中,只涵盖了 6,763 个汉字。所以你需要转换的文件的原始的格式可能并不是 GB2312 编码。这个时候,你可以用 GB18030 做为源格式来进行转换。 是最新的国家标准,包含了 27,564 个汉字,而且向下兼容 GB2312 和 GBK。

b.另外,支持 Unicode 且 Free 的中文字库我推荐使用”“。这好像也是目前为止,唯一的一个以支持 Unicode 为出发点的 Free 的中文字库。

后来我直接输入:iconv -f utf8 -t gb18030 aaa.txt > bbb.txt   就OK了。

还有一个enconv的程序可以用来猜测编码

vim看文本的话就简单多了

set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,iso-8859-1,gbk

set encoding=utf-8

参考:

http://blog.sina.com.cn/s/blog_68b1a51b0101333f.htmlhttp://zhaizhenxing8170.blog.163.com/blog/static/74425020084562258565/http://blog.csdn.net/echoisland/article/details/6660619

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值