shell脚本统计文件中单词的个数

shell脚本统计文件中单词的个数

一、方案  http://www.cnblogs.com/youxuguang/p/5917215.html

方法一：

（1）cat file|sed 's/[,.:;/!?]/ /g'|awk '{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}'   #其中file为要操作的文件，sed中/ /间有一个空格。

（2）sed 's/[,.:;/!?]/ /g' file|awk '{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}'     #（1）和（2）效果一致。

方法二：

（1）awk 'BEGIN{RS="[,.:;/!?]"}{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}' file

这里 -F',' 表明每个词用逗号分隔  https://zhidao.baidu.com/question/586302142.html
NF其实是number of field, 即整行(或者说record)里面词 (更准确的翻译应该是域)的总数
NF-1 就是倒数第二个词

sed ′s/\%//g‘
s表示替换，\%就表示百分号，s/\%//将％替换为空，最后的g标志表示全部替换

即删除所有的百分号

{for(i=1;i<=NF;i++)a[$i]++;
NF表示单行（记录 ）中字段 数，$i表示对应字段 ，假设 文本是 "a b c d a b a" ,a出现3次所以a[a]++执行了3次，a[a]的值增加了3,这个循环完成 后a数组 中为已经读取的行相同内容字段出现次数

for (i in a) 表示 依次迭代a数组 的下标 ，赋值给变量 i,如上例a数组的下标 会是a,b,c,d(顺序是随机的），这四个下标会被按随机顺序赋值给变量 i。
print i"="a[i],打印字段 i和其出现次数a[i]
这样写每读取一行都 会打印 一次已经 重复出现过的字段 统计，为什不只打印 最终 统计呢，像下面这样

awk '{for(i=1;i<=NF;i++)a[$i]++;} END{for(i in a)print i" = "a[i]}' tongji.txt

二、验证

[root@hehe668 shell]# cat file
hello world,hi girl;how old are you?
where are you from?
how are you?
i am fine!thinks.
and you?
http://www.cnblogs.com/youxuguang/

[root@hehe668 shell]# cat file|sed 's/[,.:;/!?]/ /g'|awk '{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}'
com 1
http 1
from 1
www 1
i 1
you 4
hi 1
hello 1
youxuguang 1
and 1
world 1
cnblogs 1
where 1
old 1
how 2
fine 1
am 1
are 3
girl 1
thinks 1

[root@hehe668 shell]# sed 's/[,.:;/!?]/ /g' file|awk '{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}'
com 1
http 1
from 1
www 1
i 1
you 4
hi 1
hello 1
youxuguang 1
and 1
world 1
cnblogs 1
where 1
old 1
how 2
fine 1
am 1
are 3
girl 1
thinks 1

[root@hehe668 shell]# awk 'BEGIN{RS="[,.:;/!?]"}{for(i=1;i<=NF;i++)array[$i]++;}END{for(i in array) print i,array[i]}' file
com 1
http 1
from 1
www 1
i 1
you 4
hi 1
hello 1
youxuguang 1
and 1
world 1
cnblogs 1
where 1
old 1
how 2
fine 1
am 1
are 3
girl 1
thinks 1

原文：http://www.cnblogs.com/youxuguang/p/5917215.html