Linux下 按日期时段 分析日志 shell

 

不得不服中国移动客户的严谨。在配置Weblogic集群中我们系统与N个第三方系统交互的线程队列的大小时，他们要我们跟据现网日志分析各系统的请求压力，而且要拿出各种统计数据，然后根据这样统计数据来决点各线程池的大小。俺们系统日志，N多种，一天产生的量基本都是几十万级的，加起来过千万。所以，写这个Shell方便分析，觉得这个Shell还算通用，所以发布上来，希户能给后来者也带来方便。

这个Shell是用来统计某日志文件中，特定日期，一天24小时所接受的请求数量的。

它同时接收三个参数（当然，你也可以HardCode）：

第一个参数：日志文件名

第二个参数：特定日期（可以有多个，日期之间以空格隔开）

第三个参数：关键字（也可以有多个，关键字之间以空格隔开）

 

比如，要以Login与ServiceID为关键字，统计biz.log中2008-03-06与2008-03-08各时段接受的请求数量，可执行：

sh analyse.sh "biz.log" "2008-03-06 2008-03-08" "Login ServiceID"

 

analyse.sh：

pfile = $ 1 ;
pdates = $ 2 ;
pkeywds = $ 3 ;
keywd = "" ;
method_count()
{
    echo   " Begin method method_count! " $keywd ;
   hs = " 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 " ;
     for  dt in  $pdates ;
     do
      for  h in  $hs ;
      do
       tt = $dt " . " $h ;
       kk = $tt " {1,}.* " $keywd ;
        echo   $dt " 日 " $h " 时的请求数： " ;
        #  echo $kk;
        # cat $pfile|grep $dt"."$h|grep $keywd|wc -l;
       grep  $kk   $pfile | wc  - l;
      done ;
     done ;
    echo   " End method method_count! " ;
}
for  k in  $pkeywds ;
do
#   if [ -n "$keywd" ];
#   then 
#      echo JJJJJ $keywd;
#      keywd=$keywd"|";
#   fi
  keywd = $keywd$k " {1,}.* " ;
done ;
method_count;

 注意：上面Shell中的“}”与“{”请分别改为“/}”、“/{”。我代码中的"/"转义符，让CSDN系统去掉了。毫无疑问，这是CSDN的一个BUG。

执行结果：

Begin method method_count!Login/{1,/}.*ServiceID/{1,/}.*
2008-03-06ÈÕ00ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ01ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ02ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ03ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ04ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ05ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ06ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ07ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ08ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ09ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ10ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ11ʱµÄÇëÇóÊý£º
      2
2008-03-06ÈÕ12ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ13ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ14ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ15ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ16ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ17ʱµÄÇëÇóÊý£º
    280
2008-03-06ÈÕ18ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ19ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ20ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ21ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ22ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ23ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ00ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ01ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ02ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ03ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ04ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ05ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ06ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ07ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ08ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ09ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ10ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ11ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ12ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ13ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ14ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ15ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ16ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ17ʱµÄÇëÇóÊý£º
      3
2008-03-08ÈÕ18ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ19ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ20ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ21ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ22ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ23ʱµÄÇëÇóÊý£º
      0
End method method_count!

后一次完善:

在原来三个参数的基础上增为四个参数：

第一个参数：日志文件名

第二个参数：特定日期（可以有多个，日期之间以空格隔开）

第三个参数：关键字（也可以有多个，关键字之间以空格隔开）

第四个参数：目录的路径（注意不能以“/”结束，如“/home”不能写成“/home/”。如果不填此参数，则默认为当前目录）

 

如/home目录下有日志文件biz.log.2008-03-06-03.bak、biz.log.2008-03-06-01.bak、biz.log.2008-03-06-02.bak，

要以Login ServiceID为关键字查看这些文件中2008-03-06与2008-03-08各时段接受的请求数量，可执行：

sh analyse3.sh "biz.log.2008-03-06" "2008-03-06 2008-03-08" "Login ServiceID" "/home"

 

建议用另一个Shell来引用此Shell,并输出到后台文件中，这样可以达到达到批处理的目的

analyse3.sh

pfile = $ 1 ;
pdates = $ 2 ;
pkeywds = $ 3 ;
ppath = $ 4 ;
keywd = "" ;
tempf = " _temp_all.log " ;
method_count()
{
   hs = " 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 " ;
     for  dt in  $pdates ;
     do
      for  h in  $hs ;
      do
      tt = $dt " . " $h ;
      kk = $tt " {1,}.* " $keywd ;
       echo   $pfile   $dt " 日 " $h " 时的请求数： " ;
      grep  $kk   $tempf | wc  - l;
      done ;
     done ;
}

method_createtempfile()
{
   mf = "" ;
    for  ff in  $ppath /* ;
   do
     if [ -f $ff ];
     then
       case $ff in *$pfile*)
           mf=$mf" "$ff;
       esac
     fi   
   done;
   cat $mf > $tempf;
}

for k in $pkeywds;
do
  keywd=$keywd$k"{1,}.*";
done;

if [ -z $ppath ];
then
  ppath=".";
fi
echo begin analyse! keyword is $keywd 
method_createtempfile;
method_count;
rm $tempf;
echo end analyse!