shell脚本统计文本文件中某个单词出现次数

现在有个场景，就是有一个文本文件，要统计里面某个单词的出现频率，或者统计单词出现频率最最多的前十分别是哪些？

拿到这样的需求，对于做后台开发的并不陌生，我们在处理日志文件文件时候，里面都会有日志级别的关键字：INFO, ERROR,DEBUG,WARN等。我们想知道ERROR出现了多少次，INFO出现了多少次也是经常的应用场景，那我们如何实现这样的功能？

可能比较快速反应出来的思路就是用java 代码实现，通过文件流读取文件，然后一行一行遍历，遍历一行的时候，再通过遍历一个个单词，最后存储到map中，统计完了之后，再进行一个排序。那就是相当于文本文件中的每个单词都要遍历到。

在一个就是通过shell脚本语言来实现，思路也是通过do循环，每行每行的读取，看能否匹配到指定的单词，匹配到了数量就+1，循环结束了就能得到想要的结果。

1.java 实现

2.shell 实现

awk '{i=$1;count[i]++}END{for(i in count){print(i,count[i])}}' domain |sort 

扩展

对于中文的文本，比如一片文章或帖子，需要判断是否有敏感词汇，也是一样的思路，就是每个汉字都要遍历到，然后得到出现的次数。