今天用wget想下载文件，结果下载了一堆本地的index.html文件，一查看全是乱码，然后百度了一下，网页的编码格式大概有三种：
1、utf-8
2、gb2312
3、gbk
要在网页源码中的<head>下的<meta >属性的设置中查看 charset 对应的属性值。
而我的centos的操作系统只识别utf-8格式的，由环境变量LANG保存的配置，我们可以查看一下 echo $LANG ，系统返回的是：zh_CN.UTF-8 。所以我们需要一个转换编码格式的命令：iconv，它用于把给定的文件内容从一种编码转换成另一种编码。常用的命令就是：
iconv -f [gb2312/gbk] -t [utf-8] [inputfile]
如果想要知道系统下支持的所有的编码格式，可以用命令
iconv -l （列出已知的编码字符集合）来查看。
当然，我们也可以暂时的改变环境变量LANG的值为我们本地的index.html中“charset”的编码格式。
下面是转码的脚本
#!/bin/bash
cat <<NOTE该脚本用于解决wget下载到本地的index.html文件的乱码问题，如果是utf-8格式的，则不作调整，如果不是utf-8格式的，将会转换为utf-8的格式，并重定向输出到同名文件下的子文件。
webber
NOTE
usage()
{
#显示脚本的使用方法
echo "Usage: Please tell me the correct file name!"
exit 35
}
if [ ! -f "$1" ];then
echo "$1: No such file"
usage
fi
Language=`cat $1 | grep "charset" | sed "s/^.*charset=//" | awk -F'\"' '{print $1}' | sed -n "1p"` #查看charset使用的是哪种3编码格式 大多数网站都可以抓取出来
# Language2=`cat jingdong.html | grep "charset" | sed "s/^.*charset=\"//" | awk -F'\"' '{print $1}' | sed -n "1p"` 京东网站抓不出来，在用sed替换时需要一个"来改变替换的格式
case "$Language" in #进行格式转换 并且输出到文件
utf-8)
echo "correct!! It's utf-8 code. "
;;
[gG][bB]2312)
cat $1 | iconv -f gb2312 -t utf-8 > $1.1 2> /dev/null
echo "finished！ please cat the file $1.1!!"
;;
[gG][bB][kK])
cat $1 | iconv -f gbk -t utf-8 > $1.1 2> /dev/null
echo "finished！ please cat the file $1.1!!"
;;
*)
echo "I don't know the uni-code"
;;
esac
exit 0
119
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
