写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。
为了简单起见,你可以假设:
words.txt只包括小写字母和 ' ' 。
每个单词只由小写字母组成。
单词间由一个或多个空格字符分隔。
示例:
假设 words.txt 内容如下:
the day is sunny the the
the sunny is is
你的脚本应当输出(以词频降序排列):
the 4
is 3
sunny 2
day 1
cat word.txt | sed 's/ /\n/g' | sed '/^$/d' | sort | uniq -c | awk -F ' ' '{print $2,$1}' | sort -nrk2
sed命令一般是对匹配到的文本进行编辑。
s/ /\n/g s表示替换,g表示全局,将文本中的所有空格换成换行。也就是让每一个单词都单独存在一行。
'/^$/d' d表示删除,删掉所有的空行。^正则表达式中的开头,$是结尾,开头结尾连在一块就是没有字符。所以表示空行。
sort表示将每个单词进行排序,将相同的单词放在一块。
uniq -c :uniq用来处理重复的行,-c表示累加重复的行,并且显示累加结果。(不能跨行处理,所以上一条命令用sort把相同的单词放到一块)
awk -F ' ' '{print $2,$1}' awk适合格式化文本,-F ’ ‘ 表示用空格分格字符,同时 先打印第二行再打印第一行(满足输出格式)
sort -nrk2 -n表示按照字符数字顺序排序,-r表示逆序排序,k2表示按照第二行排序。