shell 统计一个词出现的概率_【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词...

1. 统计的对象words.txt，每个单词占一行(从简考虑了~)

zjd@ubuntu:~/test$ cat word.txt

used

this

count

mysql

count

this

used

mysql

linux

this

redis

apple

android

redis

apple

2. 统计每个单词的频率

方法1：

zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}END{for(i in a) print i"="a[i]}'

linux=1

used=2

apple=2

mysql=2

count=2

android=1

redis=2

this=3

方法2(与方法1没有本质区别~~，{}大括号也可以表示循环)

zjd@ubuntu:~/test$ cat word.txt |awk '{for(i=0;i

linux=1

used=2

apple=2

mysql=2

count=2

android=1

redis=2

this=3

3. 统计出现频率最多的三个单词

方法1：

zjd@ubuntu:~/test$ cat word.txt|awk '{a[$0]++}END{for(i in a) print i" "a[i]}'|sort -k2r|head -3

this 3

apple 2

count 2

方法2：

zjd@ubuntu:~/test$ cat word.txt|sort |uniq -c|sort -k1r|head -3

3 this

2 used

2 redis

知识点：

sort 排序 -r 倒序 -k1 对第一个字段排序

uniq 相同的单词放在一起 -c count 合并相同的单词，显示次数

head -3 显示前三行