最近有用到统计日志中某个字段出现的次数,后来去调研了一下,发现两种场景比较常用
文件内容
场景一:grep命令+wc命令,计算出测试出现的次数
grep '测试' dalitest1.txt |wc -l
命令解析:
grep '测试' dalitest1.txt : 返回符合的记录
wc: 查看文件的行数,字数,字节数
wc -l : 统计行数
wc -c : 统计字节数
wc -m 统计字符数。这个标志不能与 -c 标志一起使用。
wc -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
场景二:awk命令
awk '{a[$1]+=1}END{for(b in a) print b ":" a[b]}' dalitest1.txt
awk默认以空格或者tab键分割每一行的记录,此处先用a数组存储获取到的每一行符合条件的值,每读取一行则+1,END为最终执行,然后循环打印数据组中的数据及次数
额外话题,针对统计次数排序
上面awk中已经将字段与次数都统计出来了,可以依靠sort和head进行排序,以及展示前几位的单词
sort命令
格式 sort 【参数】【文件】
参数 -n 以数字排序
参数 -r 倒序
参数 -t 分隔字符
参数 -k 指定对第几列的值进行重排
eg: sort -n -r -k 2 -t ‘:’ xx.txt -n数字排序方式, -r倒序, -t ‘:’以冒号分隔, -k 2表示以冒号分隔后的第2例
head命令
格式 head 【参数】【文件】
参数 -n<行数> 显示的行数
显示前10行 head -10 xx.txt