linux正则表达式匹配日志日期,一个支持正则表达式的日志关键字统计的shell工具...

最新推荐文章于 2023-09-24 10:00:00 发布
最新推荐文章于 2023-09-24 10:00:00 发布
阅读量645 收藏
点赞数
文章标签： linux正则表达式匹配日志日期

Usage: pafa_mon/statistics_pafa.sh -i|--instance [-fn|--filename ] [-ip|--instancepath] [-kw|--keywords] [-bt|--begintime] [-et|--endtime] [-t|--type] instance name: 实例英文名称

instance path: 实例所在路径，默认为/wls/applogs/rtlog/

file name: 文件名称，默认为pafa.log

key words: 匹配关键字,如有多个关键字请用冒号隔开，传参不支持带空格的关键字

从文件读取支持带空格关键字，多个关键字关键字用换行符分隔，支持正则表达式

默认从文件"/instance path/instance name/pafa.key"读取，如：/wls/applogs/rtlog/TOA-CORESF6802/pafa.key

begin time: 开始时间，默认从文件开头匹配

end time: 结束时间，默认匹配到文件末尾

progress type: 操作类型: 默认为1.

1，指定文件范围内扫描关键字，打印内容；(最后100w行)

2，指定文件范围内扫描关键字，统计次数；(最后100w行)

3，指定时间范围内扫描关键字，打印内容；

4，指定时间范围内扫描关键字，统计次数；

for example :

./statistics_pafa.sh -i TOA-CORESF6801

./statistics_pafa.sh -i TOA-CORESF6801 -t 2

./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR

./statistics_pafa.sh -i TOA-CORESF6801 -kw ERROR

./statistics_pafa.sh -i TOA-CORESF6801 -fn TOA-CORESF6801.acc -t 2  -kw ERROR

./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR -ip /tmp/ -bt 08:00:00

./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR -bt 08:00:00  -et 18:00:00

./statistics_pafa.sh -i TOA-CORESF6801 -ip /wls/applogs/rtlog/ -fn pafa.log -kw ERROR:WARN -bt 08:00:00  -et 18:00:00 --type 2

#!/bin/bash

#

# File Name: statistics.sh

#

# Function: statistics the keywords from the specified log-file.

#

# Written by: stone

#

# Written on: 2013-01-16

#

#######################################################################

## default values for the variables below ##

HOST_NAME=$(hostname)

HOST_IP=$(hostname -i)

INSTANCE_NAME=''

INSTANCE_PATH="/wls/applogs/rtlog/"

FILE_NAME='pafa.log'

KEY_WORDS=''

MONTH=$(date +%m)

DAY=$(date +%e)

BEGIN_TIME=''

END_TIME=''

PROGRESS_TYPE=1

########################################################################

#### function for usage of the shell script ############

function Usage(){

echo "Usage: $0 -i|--instance [-fn|--filename ] [-ip|--instancepath] [-kw|--keywords] [-bt|--begintime] [-et|--endtime] [-t|--type] "

echo "instance name: 实例英文名称"

echo "instance path: 实例所在路径，默认为/wls/applogs/rtlog/"

echo "file name: 文件名称，默认为pafa.log "

echo 'key words: 匹配关键字,如有多个关键字请用冒号隔开，传参不支持带空格的关键字'

echo '  从文件读取支持带空格关键字，多个关键字关键字用换行符分隔'

echo '  默认从文件"/instance path/instance name/pafa.key"读取，如：/wls/applogs/rtlog/TOA-CORESF6802/pafa.key'

echo "begin time: 开始时间，默认从文件开头匹配 "

echo "end time: 结束时间，默认匹配到文件末尾 "

echo 'progress type: 操作类型: 默认为1.  '

echo '  1，指定文件范围内扫描关键字，打印内容；(最后100w行)'

echo '  2，指定文件范围内扫描关键字，统计次数；(最后100w行)'

echo '  3，指定时间范围内扫描关键字，打印内容；'

echo '  4，指定时间范围内扫描关键字，统计次数；'

echo 'for example :'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 '

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -t 2  '

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -kw ERROR'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -fn TOA-CORESF6801.acc -t 2  -kw ERROR'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR -ip /tmp/ -bt 08:00:00'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -t 2  -kw ERROR -bt 08:00:00  -et 18:00:00'

echo ' ./statistics_pafa.sh -i TOA-CORESF6801 -ip /wls/applogs/rtlog/ -fn pafa.log -kw ERROR:WARN -bt 08:00:00  -et 18:00:00 --type 2'

exit 1

}

#### function for setting variables for the shell script #############

function Set_variables(){

if [[ $# == 0 ]]; then

if [[ -n $INSTANCE_NAME ]];then

FILE_PATH="${INSTANCE_PATH}/${INSTANCE_NAME}/"

Choose

exit 0

else

Usage

fi

fi

case "$1" in

"-i")  shift

INSTANCE_NAME=$1

shift

Set_variables $@

;;

"--instance")  shift

INSTANCE_NAME=$1

shift

Set_variables $@

;;

"-fn")  shift

FILE_NAME=$1

shift

Set_variables $@

;;

"--filename")  shift

FILE_NAME=$1

shift

Set_variables $@

;;

"-ip")  shift

INSTANCE_PATH=$1

shift

Set_variables $@

;;

"--instancepath")  shift

INSTANCE_PATH=$1

shift

Set_variables $@

;;

"-kw")  shift

KEY_WORDS=$1

shift

Set_variables $@

;;

"--keywords")  shift

KEY_WORDS=$1

shift

Set_variables $@

;;

"-bt")  shift

BEGIN_TIME=$1

shift

Set_variables $@

;;

"--begintime")  shift

BEGIN_TIME=$1

shift

Set_variables $@

;;

"-et")  shift

END_TIME=$1

shift

Set_variables $@

;;

"--endtime")  shift

END_TIME=$1

shift

Set_variables $@

;;

"-t")  shift

PROGRESS_TYPE=$1

shift

Set_variables $@

;;

"--type")  shift

PROGRESS_TYPE=$1

shift

Set_variables $@

;;

*)     Usage

esac

}

#### function for show the value of the shell script's variables ############

function Show_variables(){

echo HOST_NAME=$HOST_NAME

echo HOST_IP=$HOST_IP

echo INSTANCE_NAME=$INSTANCE_NAME

echo FILE_PATH=$FILE_PATH

echo INSTANCE_PATH=$INSTANCE_PATH

echo FILE_NAME=$FILE_NAME

echo KEY_WORDS=$KEY_WORDS

echo MONTH=$MONTH

echo DAY=$DAY

echo BEGIN_TIME=$BEGIN_TIME

echo END_TIME=$END_TIME

}

#### function for statistic the key-words in the specified file from the last 1 million lines ############

function Statistic_contents(){

tail -1000000 ${FILE_PATH}${FILE_NAME} |awk '/^'${MONTH}'\/'${DAY}'/ && /'"${KEY}"'/ {OFS=""; print "KeyWord=","'"${KEY}:"'",$0}  ' | tail -n 10

}

#### function for statistic the key-words arise times in the specified file from the last 1 million lines ############

function Statistic_times(){

tail -1000000 ${FILE_PATH}${FILE_NAME} |awk '/^'${MONTH}'\/'${DAY}'/ && /'"${KEY}"'/ {a++} END{OFS=""; print "KeyWord=","'"${KEY}:"'",a}  '

}

#### function for statistic the key-words in the specified file by time ############

function Statistic_contents_bytime(){

if [[ -z $BEGIN_TIME ]];then

if [[ -z $END_TIME ]];then

awk '/^'${MONTH}'\/'${DAY}'/ && /'"${KEY}"'/ {OFS=""; print "KeyWord=","'"${KEY}:"'",$0}  ' ${FILE_PATH}${FILE_NAME} | tail -n 10

else

awk '/^'${MONTH}'\/'${DAY}'/ && $2

fi

else

if [[ -z $END_TIME ]];then

awk '/^'${MONTH}'\/'${DAY}'/ && $2>"'$BEGIN_TIME'" && /'"${KEY}"'/ {OFS=""; print "KeyWord=","'"${KEY}:"'",$0}' ${FILE_PATH}${FILE_NAME} | tail -n 10

else

awk '/^'${MONTH}'\/'${DAY}'/ && $2>"'$BEGIN_TIME'" && $2

fi

fi

}

#### function for statistic the key-words arise times in the specified file by time ############

function Statistic_times_bytime(){

if [[ -z $BEGIN_TIME ]];then

if [[ -z $END_TIME ]];then

awk '/^'${MONTH}'\/'${DAY}'/ && /'"${KEY}"'/ {a++}  END{OFS=""; print "KeyWord=","'"${KEY}:"'",a}'   ${FILE_PATH}${FILE_NAME}

else

awk '/^'${MONTH}'\/'${DAY}'/ && $2

fi

else

if [[ -z $END_TIME ]];then

awk '/^'${MONTH}'\/'${DAY}'/ && $2>"'$BEGIN_TIME'" && /'"${KEY}"'/ {a++}  END{OFS=""; print "KeyWord=","'"${KEY}:"'",a}'   ${FILE_PATH}${FILE_NAME}

else

awk '/^'${MONTH}'\/'${DAY}'/ && $2>"'$BEGIN_TIME'" && $2

fi

fi

}

#### function for progressing for statistic ##########################

function Progress(){

if [[ -z $KEY_WORDS ]];then

if [[ -f ${FILE_PATH}/pafa.key ]];then

grep -v "^#" ${FILE_PATH}/pafa.key | while read KEY

do

$1

done

else

echo "Attention please !"

echo "You should create the key-word file named pafa.key in the directory ${FILE_PATH} at first !"

exit 1

fi

else

Key_Words="$(echo ${KEY_WORDS} |sed s/':'/' '/g )"

for KEY in $Key_Words

do

$1

done

fi

}

#### function for choose progress type for statistic ###############

function Choose(){

case "$PROGRESS_TYPE" in

"1")  Progress "Statistic_contents"

;;

"2")  Progress "Statistic_times"

;;

"3")  Progress "Statistic_contents_bytime"

;;

"4")  Progress "Statistic_times_bytime"

;;

*)  Usage

;;

esac

}

#### function for the start of the shell script #################

function Main(){

Set_variables $@

}

Main  $@

哥本哈根学派
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux正则匹配8位数字日期,时间日期与正则表达式
weixin_39789094的博客
05-13 1442
时间日期与正则表达式一 时间日期对象 Date()var box = new Date();alert(box.getTime()); //获取日期的毫秒数，和 valueOf()返回一致alert(box.setTime(100)); //以毫秒数设置日期，会改变整个日期alert(box.getFullYear()); //获取四位年份...
linux shell正则匹配时间格式,Linux Shell编程（5） - 正则表达式
weixin_31978571的博客
05-02 1432
一、正则表达式简介1. 正则表达式是什么正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分割、匹配、查找及替换操作。2. 正则表达式与通配符/正则表达式通配符匹配主体文件中的内容文件名匹配规则包含匹配完全匹配常用命令grep,awk,sedls,find,cp3. 通配符* ：匹配任意0到多个字符? ：匹配任意一个字符[] ：匹配括号中的一个字符* 匹配任意0...
【日志处理】正则匹配日志文本里的JSON字符串
点滴记录
09-02 653
正则匹配日志文本里的JSON字符串
使用正则匹配进行简单的日志审计
梦想闹钟
06-10 492
主要通过正则匹配来检查是否存在xss，sql注入类型的攻击，因为仅使用了简单的正则匹配所以筛查效果有限，网络访问日志来源是自己搭建的服务器，如果之后 日志下载：链接：https://pan.baidu.com/s/1tCWMB4oA4juWTYjx_2qZmw 提取码：1c6l import subprocess import sys from .host_info import exist import re import os import requests import time from geven
Linux基础知识(9-10)-正则表达式.pdf
07-10
在Linux系统中，正则表达式（Regular Expression）是一种强大的文本搜索工具，它能使用预定义的模式匹配字符串。在本文件中，我们主要探讨了`grep`命令和`awk`命令，它们都是Linux中利用正则表达式进行文本处理的...
TxtStyle:基于正则表达式为日志文件着色的命令行工具。-开源
07-19
总的来说，TxtStyle通过将正则表达式的强大功能与命令行界面相结合，为日志管理和分析提供了一个强大的解决方案。其开源属性不仅确保了软件的持续发展，也为用户提供了高度的灵活性和定制化空间。对于IT从业者来说，...
5Shell脚本.zip
10-10
`wc`命令则用于统计文件中的单词数、行数和字符数，这两个工具一起使用时，可能用于处理和分析大量文本数据。 11. **快捷键, 重定向, 变量, 引号, ``__'', 关闭回显.txt**： 快捷键能提升命令行操作效率；重定向...
PHP webshell检查工具 python实现代码
01-20
修改下文件后缀和关键字的正则表达式就可以成为其他语言的webshell检查工具了，^_^。 4.开发环境是windows xp+ActivePython 2.6.2.2，家里电脑没有Linux环境，懒得装虚拟机了，明天到公司Linux虚拟机测试下。 5.目前...
关于命令学习总结.doc
12-26
模式通常是一个正则表达式，用于匹配输入行，动作则是在模式匹配成功时执行的代码块。例如，`awk '/pattern/ {action}' file` 将在文件file中找到匹配pattern的行并执行action。 awk内置变量是其灵活性的重要组成...
常用的日期数字类型的正则表达式集
07-18
常用的日期数字类型的正则表达式集，对各种数字和日期格式进行了一些归纳总结
linux 日期正则表达式,Linux Shell编程（5） - 正则表达式
weixin_29072299的博客
05-14 655
一、正则表达式简介1. 正则表达式是什么正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分割、匹配、查找及替换操作。2. 正则表达式与通配符/正则表达式通配符匹配主体文件中的内容文件名匹配规则包含匹配完全匹配常用命令grep,awk,sedls,find,cp3. 通配符* ：匹配任意0到多个字符? ：匹配任意一个字符[] ：匹配括号中的一个字符* 匹配任意0...
Java正则表达式解析复杂跨行日志
最新发布
weixin_42202992的博客
09-24 293
使用正则解析复杂跨行日志
Logtail从入门到精通（四）：正则表达式Java日志采集实战
weixin_33726318的博客
05-12 405
前言 为简化日志接入门槛，我们提供了极简模式的日志解析方式（如[开启日志采集之旅]()中的介绍）。为了更好的对日志进行分析，我们还提供了其他解析方式，例如：分隔符模式、完整正则模式、JSON模式等。本文将为大家介绍如何使用完整正则解析模式。 日志解析介绍 日志采集最终目的还是为了分析，通常分析都要基于结构化或半结构化的数据，因此日志解析是整个日志解决方案...
linux shell正则匹配时间格式,linux shell编程学习笔记(9)正则表达式
weixin_34561824的博客
05-02 1114
1、什么是正则表达式用一串符号描述有共同属性的数据一串符号：元符号——正则表达式通常被用来检索和/或替换那些符合某个模式的文本内容。许多程序设计语言都支持利用正则表达式进行字符串操作。对于系统管理员来讲，正则表达式贯穿在我们的日常运维工作中，无论是查找某个文档，抑或查询某个日志文件分析其内容，都会用到正则表达式。——其实正则表达式，只是一种思想，一种表示方法。只要我们使用的工具支持表示这种思想那么...
正则匹配日期
weixin_33940102的博客
09-24 154
2019独角兽企业重金招聘Python工程师标准>>> ...
正则表达式匹配
giaming的博客日志
03-02 441
题目链接 题目描述 请实现一个函数用来匹配包括’.‘和’‘的正则表达式。模式中的字符’.‘表示任意一个字符，而’'表示它前面的字符可以出现任意次（包含0次）。 在本题中，匹配是指字符串的所有字符匹配整个模式。例如，字符串"aaa"与模式"a.a"和"abaca"匹配，但是与"aa.a"和"ab*a"均不匹配 解题思路 如果模式串此时是’.’,那么只需要模式和匹配串都往后移动一个位置即可 如果现在这...
linux 下正则匹配时间命名格式的文件夹
weixin_30915275的博客
11-19 371
用正则表达式匹配时间格式命名的文件夹 ls mypath | grep -E "[0-9]{4}-[0-9]{1,2}" mypath为需要查询的目录 查询出来的文件夹格式为：例 2018-12 如果要 2018-12-1 这种格式则把正则改为 ls mypath | grep -E "[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}" 　　如果是201...
"正则表达式基本使用与java.util.regex包相关的操作
正则表达式是一种强大的字符串匹配工具，可以用来检查一个字符串是否符合某种模式。在Java中，正则表达式的操作都位于java.util.regex包下。这个包中包含两个重要的类：Pattern和Matcher。Pattern类表示一个正则...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值