linux命令统计某字段出现的次数

最近有用到统计日志中某个字段出现的次数,后来去调研了一下,发现两种场景比较常用

文件内容

 场景一:grep命令+wc命令,计算出测试出现的次数

grep '测试' dalitest1.txt |wc -l

命令解析:

grep '测试' dalitest1.txt : 返回符合的记录

wc: 查看文件的行数,字数,字节数

wc -l : 统计行数

wc -c : 统计字节数

wc -m 统计字符数。这个标志不能与 -c 标志一起使用。

wc -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。

 场景二:awk命令

awk '{a[$1]+=1}END{for(b in a) print b ":" a[b]}' dalitest1.txt

 awk默认以空格或者tab键分割每一行的记录,此处先用a数组存储获取到的每一行符合条件的值,每读取一行则+1,END为最终执行,然后循环打印数据组中的数据及次数

额外话题,针对统计次数排序

上面awk中已经将字段与次数都统计出来了,可以依靠sort和head进行排序,以及展示前几位的单词

sort命令

格式 sort 【参数】【文件】
参数 -n 以数字排序
参数 -r 倒序
参数 -t 分隔字符
参数 -k 指定对第几列的值进行重排
eg: sort -n -r -k 2 -t ‘:’ xx.txt -n数字排序方式， -r倒序, -t ‘:’以冒号分隔, -k 2表示以冒号分隔后的第2例

head命令

格式 head 【参数】【文件】
参数 -n<行数> 显示的行数
显示前10行 head -10 xx.txt