linux统计文件中字符串次数及文件夹下特定类型文件个数

在实际日常项目中，常常会对生产日志查找异常或者统计一些内容

一、统计单个文件

统计单个文件字符串出现次数，语法：grep 字符串 文件名|wc -l ，grep输出，wc -l按行统计，每行重复只统计一个

如：统计task-hbase-transform.log中NullPointerException出现的次数

grep NullPointerException task-hbase-transform.log|wc -l  

二、统计多个文件

统计/logs/task-hbase-transform/路径下，每个文件中Exception关键字出现的次数，

脚本统计：vim countex.sh 加入以下

#!bin/sh
for file in /logs/task-hbase-transform/* #日志文件路径
do
    if test -f $file #如果是文件，统计异常数量，并输出到ex.log
    then
         e=`grep Exception "$file"|wc -l` #按行统计并输出
         echo "Exception--"$file"--"$e >>ex.log #把统计内容输出到ex.log中
        #echo $file 是文件   >> c.log
    else
        echo $file 是目录
    fi
done

添加执行权限：chmod +x countex.sh 

执行脚本：sh countex.sh

查看统计结果：cat ex.log

Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-19--7
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-20--2
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-21--1
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-22--2
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-23--4
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-24--0
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-25--6
Exception--/logs/task-hbase-transform/task-hbase-transform.log.2018-07-26--5

也可以添加定时执行脚本:crontab -e ,每天凌晨执行一次

0 0 * * *  /opt/shell/countex.sh

三、统计文件夹下特定类型文件个数

统计文件夹下/mount/taskdata 以.log结尾的文件数量

find /mount/taskdata -name *.log |wc -l #find查找特定类型并统计
或者
ls /mount/taskdata/*.log |wc -l  #ls列出特定类型并统计