shell统计词频

leetcode上面的题。
写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

为了简单起见,你可以假设:

words.txt只包括小写字母和 ' ' 。
每个单词只由小写字母组成。
单词间由一个或多个空格字符分隔。
示例:

假设 words.txt 内容如下:

the day is sunny the the
the sunny is is
你的脚本应当输出(以词频降序排列):

the 4
is 3
sunny 2
day 1

这里比较重要的一点可能就是说单词间由一个或多个空格字符分隔

cat words.txt |tr -cs "[a-z][A-Z]" "\n"  |sort|uniq -c|sort -r|awk '{print $2,$1}'
  1. tr -cs “[a-z][A-Z]" “\n” -c表示取“[a-z][A-Z]"的补集(complement),-s 表示把连续的匹配压缩成一个”\n“,所以整个命令就是把除了字母外的其他字符一律压缩成换行符,如果有连续的匹配,则只转换成一个换行符。
  • 据此逆向思维一下,直接替换连续的空格为换行 是不是也可以
sed "s/[ ][ ]*/\n/g"
  • 如果说有大小写混合 可以使用 tr A-Z a-z 把大写统一转换成小写。
  1. sort 排序 按字母排序 否则不连续的词在去重当中会按照不同的词处理
  2. uniq 去重 该命令必须对排序好的文档进行(理由见2),-c 表示打印出字母的重复次数
  3. sort -r 反向排序 在uniq命令之后 输出结果已经变成了
n word //出现次数 空格 单词
  1. print{$2 $1} 替换一下输出的顺序(理由见4和题目)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值