[Linux] awk学习笔记-词频统计

背景

awk用来处理文件和数据，是类unix下的一个工具，也是一种编程语言。支持条件判断，支持for和while循环。

例子

192. 统计词频

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

方法一：

awk '{for (i=1; i <= NF; i++) {map[$i]++}}; END {for (w in map) {print w, map[w]}}' words.txt | sort -rn -k2

awk 'BEGIN {FS=" "}; {for (i=1; i <= NF; i++) {map[$i]++}}; END {for (w in map) {print w, map[w]}}' words.txt | sort -rn -k2

{map[$i]++}可以写为(map[$i]++)或者map[$i]++。end不能丢掉。

awk的默认分隔符为' '，所以上面两种写法等价。

方法二：

cat words.txt | xargs -n1 | sort | uniq -c | sort -rn -k1 | awk '{print $2, $1}'