linux 中文乱码

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

下来搜狐实验室一些新闻语料做分析，结果打开发现其他标签都正常，就$<content>$标签内容不正常，全是乱码。因此估计十有八九是编码问题。上网找了下linux里怎么解决中文乱码的问题。

其实挺简单，用iconv命令就可以轻松搞定。linux里默认的字符集编码方式是utf-8，而下载的内容的编码格式应该是gbk，所以用如下命令：

cat news.allsites.1120806.txt | iconv -f gbk -t utf-8 -c | grep "<content>" >zzz

iconv命令就是将制定文件从一种编码方式换到另外一种一种编码。
-f,–from-code ,表示文本的原始编码方式
-t, --to-code 表示文本的输出编码方式
-c 表示在输出中忽略无效字符

最后再配合grep命令，就将文本中的正文内容提取出来