linux统计大日志文件字符次数&统计接口调用量

一、背景

  有个服务每天调用量特别大，每天10G+的日志，一般编辑文件无法打开并统计接口日志打印的数量。

 

 

二、解决方案

 1)切割大日志文件

    split -b 100M business.20210526.log

    把日志按照每份100M来切割，拆分出来100多个文件

2）写个shell脚本遍历每个文件来统计

  

  dir=`ls /root/test/`
  sum=0
  for i in $dir
  do
    count=`grep -c 'str' $i`
    echo $count
    sum=`expr $sum + $count`
  done
  echo $sum

其中/root/test/为文件所在目录，str为要统计的字符

给sh文件授权，然后执行脚本就能统计该接口调用次数(接口中有打印这个日志)