linux shell 统计词频,bash统计词频

leetcode题目192.统计词频

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

为了简单起见，你可以假设：

words.txt只包括小写字母和 ' ' 。

每个单词只由小写字母组成。

单词间由一个或多个空格字符分隔。

示例:

假设 words.txt 内容如下：

the day is sunny the the

the sunny is is

你的脚本应当输出(以词频降序排列)：

the 4

is 3

sunny 2

day 1

说明:

不要担心词频相同的单词的排序问题，每个单词出现的频率都是唯一的。

你可以使用一行 Unix pipes 实现吗？

ANS:

整理文本内容,使得每个单词占一行

sed 's/ /\n/g' #将所有的空格换成换行

sed '/^$/d' #删除所有空行

或者

tr -s ' ' '\n' #空格换行并清除空行

sort | uniq -c 统计单词重复的次数

排序

sort -n 将字符串转数字

sort -r 指定顺序为从大到小

sort -k 2 指定第二个字段作为排序判断标准

输出

awk 是逐行检索文本。分为3的部分。

BEGIN{#这里进行一些检索文本前的初始化操作}

{#这里是对应每一行的操作}。例如这里 for(i=1;i<=NF;++i){++m[$i]}就是将每一行分隔的字段，进行词频统计。

NF是分隔的字段数。

$0表示整行字符串

$1到$NF表示从分隔的第一个字符串到最后一个字符串

awk中的数组可以用作hashtable做来词频统计。

END{#在检索文本后的操作}

for(k in m) k表示的就是m的key。

最后的命令可以是

cat words.txt | sed 's/ /\n/g' | sed '/^$/d' | sort | uniq -c | awk '{print $2, $1}' | sort -nrk2

# 或者

cat words.txt | tr -s ' ' '\n' | sort | uniq -c | awk '{print $2, $1}' | sort -nrk2