在多个文件中统计（查找）多个关键词（字符串）各自的出现次数（频次）

引子

最近工作中遇到了一个比较特殊的需求，就是在多个文本文件中统计（查找）多个关键词（字符串）各自的出现次数（频次）。也就是说，假设有关键词aaa, bbb, ccc，现在需要统计这些关键词各自在文件a.txt, b.txt, c.txt出现的总频次。

分析

这个需求如果关键词和文件数量较少的话，那么手动在编辑器中查找的工作量并不大，但是一旦关键词和文件数量变得很大，那么就需要考虑其它的方式了。

解决方法

通过参考网上的资料，最后整理出如下脚本，可以在linux中完成该任务：

cat a.txt b.txt c.txt > one.txt #将多个文件合并成一个文件
grep -Eiwo 'aaa|bbb|ccc' one.txt | sort | uniq -c | awk '{print $2": "$1}' 
#-E 使用扩展的正则匹配
#-i 忽略大小写
#-w 全词匹配
#-o 只显示匹配的部分
#'aaa|bbb|ccc' 要匹配的关键词，用|间隔表示逻辑或的关系
#one.txt 要搜索的文件
#sort 对grep输出的结果进行分类(排序)
#uniq -c 对sort的结果进行统计
#awk '{print $2": "$1}' 优化输出显示，将输出显示为"aaa： 100"这种形式

参考资料

Bash to find count of multiple strings in a large file