linux 批量转换UTF8到GB2312并处理UTF8的BOM标记

背景

本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码。

由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记。

下面脚本经本人测试可以工作，欢迎高手留言指正

内容

[plain] view plain copy print ?

1. #!/bin/bash  
2.   
3. for loop in `find . -type f -name "*.sql" -print`  
4. do  
5.     echo $loop  
6.     mv -f $loop $loop.tmp  
7.     dos2unix $loop.tmp  
8.     file_check_utf8='file_check_utf8.log'  
9.     sed -n '1l' $loop.tmp >$file_check_utf8  
10.     if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&1  
11.     then  
12.         echo 'UTF-8 BOM'  
13.         sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp  
14.         iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt  
15.         rm -rf intermediate.txt  
16.         rm -rf $loop.tmp  
17.     elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&1  
18.     then  
19.         echo 'UTF-8'  
20.         iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp  
21.         rm -rf $loop.tmp  
22.     else  
23.         echo 'ANSI'  
24.         mv -f $loop.tmp $loop  
25.     fi  
26.     rm -rf $file_check_utf8  
27.     #模拟unix2dos，要求文本文件最后一行必须有换行符  
28.     sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop  
29.     mv -f $loop.tmp $loop  
30. done  

#!/bin/bash

for loop in `find . -type f -name "*.sql" -print`
do
	echo $loop
	mv -f $loop $loop.tmp
	dos2unix $loop.tmp
	file_check_utf8='file_check_utf8.log'
	sed -n '1l' $loop.tmp >$file_check_utf8
	if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&1
	then
		echo 'UTF-8 BOM'
		sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp
		iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt
		rm -rf intermediate.txt
		rm -rf $loop.tmp
	elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&1
	then
		echo 'UTF-8'
		iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp
		rm -rf $loop.tmp
	else
		echo 'ANSI'
		mv -f $loop.tmp $loop
	fi
	rm -rf $file_check_utf8
	#模拟unix2dos，要求文本文件最后一行必须有换行符
	sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop
	mv -f $loop.tmp $loop
done

解释

1. 处理UTF8的BOM，本人没有找到好的办法，最后用sed＋grep判断了一下，如果前三个字节是\\357\\273\\277，则文件必定是UTF8，用sed去掉这三个字节再转换
2. 为了避免重复或者遗漏，脚本中用iconv对没有BOM的文件尝试转换了一把，转换成功说明文件是UTF8，否则说明是ANSI也就是GB2312
3. 关于最后的sed命令，那是因为本人的系统上没有unix2dos命令，所以进行了模拟，目的是为了方便自己在windows下查看和编辑

问题

1. 如果有高手知道如何设置sqlplus，能够让sqlplus直接导入UTF8文件，还望不吝留言告知
2. 关于如何去掉UTF8前三个字节的BOM，如果各位高手有更好更简单的办法，也欢迎留言

谢谢！