shell日志生成工具

最新推荐文章于 2024-02-07 21:21:40 发布
最新推荐文章于 2024-02-07 21:21:40 发布
阅读量694 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46327368/article/details/107960958
版权

**功能点：

  • 自动创建日志目录和文件
  • 在需要生成日志的shell中添加
  • 自动删除时间较长的日志文件
  • 生成日志目录级别和源代码目录级别一致**
  • 传入参数不限
  • 具体使用方法和bash/sh 相似
#! /bin/bash -x

function sskj_bash (){
  echo "输入参数个数是：$#"
  echo "输入的参数是：$@"
  PRJ_NAME="/wmt-data"  #项目工程名
  JOB_NAME=`basename $0 .sh`
  curr_date=`date +%Y%m%d`
  curr_time=`date +%H%M%S`

  if [ $# -eq 0 ];then #判断参数个数是不是为0
         echo "参数异常，须输入需要执行的shell以及需要的参数,执行方式：sskj_bash "'${CURR_DIR}'"/test2.sh "'$start_date'" "'$end_date'""
  else
      tt="${@: -1}"
      if [ "${tt}" = "&" ];then   #判断尾参是不是&
              if [ $# -eq 1 ];then   #判断尾参是&并且个数为1
                echo "不能只输入&,请输入其他有效参数"
               else
                      declare -r CURR_DIR=$(cd `dirname $0`;pwd)
                      echo "参数个数为:$#,且最后一个参数是&"
                      # ${file#*/}：删掉第一个 / 及其左边的字符串
                      TASK_NAME=$1
                      # TASK_NAME=${TASK_NAME##*/}
                      TASK_DIR=${TASK_NAME#*${CURR_DIR}/}
                      TASK_DIR=${TASK_DIR%.*}
                      echo "**********TASK_DIR:$TASK_DIR"
                      # ${file##*/}：删掉最后一个 /  及其左边的字符串
                      TASK_NAME=${TASK_NAME##*/}
                      TASK_NAME=${TASK_NAME%.*}
                      echo "**********TASK_NAME:$TASK_NAME"

                      # 日志存放目录
                      # ${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file.txt
                      FILE_DIR=${CURR_DIR#*$PRJ_NAME}
                      LOG_DIR=${CURR_DIR%$PRJ_NAME*}$PRJ_NAME"-logs"${FILE_DIR}/${TASK_DIR}
                      if [ ! -d "${LOG_DIR}" ]; then
                        echo "LOG_DIR==="$LOG_DIR
                        echo "mkdir -p ${LOG_DIR}"
                        mkdir -p "${LOG_DIR}"
                        echo "创建日志根目录完成"
                      fi
                      logdir="${LOG_DIR}"
                      #logdir="${LOG_DIR}"
                      if [ ! -d "${logdir}" ]; then
                        mkdir -p $logdir
                      fi
                      logfile="${TASK_NAME}_${curr_date}.log"
                      filepath="${logdir}/${logfile}"
                      file_bak="${filepath}_bak_${curr_date}_${curr_time}"
                      if [ -f "${filepath}"  ]; then
                          mv $filepath $file_bak
                      fi
                      >${logdir}/${logfile}

                      ## 删除日志目录下30天前的日志文件
                      find ${logdir} -type f -mtime +30 -exec rm -rf {} \;
                      #加入输入3个参数
                      cn_t=1
                      para_args=""
                      for element in "$@";{
                        if [ $cn_t -lt $# ];then
                           if [ $cn_t -eq 1 ] ;then
                               para_args="$para_args"$element
                               let cn_t+=1
                             else
                               para_args="$para_args "$element
                               let cn_t+=1
                           fi
                        fi
                       }
                  echo "*******nohup bash $para_args >> $filepath 2>&1 &*******"
                  start_dt=`date +'%Y-%m-%d %H:%M:%S'`
                  start_seconds=$(date --date="$start_dt" +%s)

                  nohup bash $para_args >> $filepath 2>&1 &
                  wait
                  end_dt=`date +'%Y-%m-%d %H:%M:%S'`
                  end_seconds=$(date --date="$end_dt" +%s);
                  echo "任务开始时间:${start_dt}">>$filepath
                  echo "任务结束时间:${end_dt}">>$filepath
                  echo "任务执行时间:"$((end_seconds-start_seconds))"s">>$filepath

               fi
      else
         echo "有效参数个数为：$#"
          declare -r CURR_DIR=$(cd `dirname $0`;pwd)
          # ${file#*/}：删掉第一个 / 及其左边的字符串
          TASK_NAME=$1
          # TASK_NAME=${TASK_NAME##*/}
          TASK_DIR=${TASK_NAME#*${CURR_DIR}/}
          TASK_DIR=${TASK_DIR%.*}
          echo "**********TASK_DIR:$TASK_DIR"
          # ${file##*/}：删掉最后一个 /  及其左边的字符串
          TASK_NAME=${TASK_NAME##*/}
          TASK_NAME=${TASK_NAME%.*}
          echo "**********TASK_NAME:$TASK_NAME"

          # 日志存放目录
          FILE_DIR=${CURR_DIR#*$PRJ_NAME}
          LOG_DIR=${CURR_DIR%$PRJ_NAME*}$PRJ_NAME"-logs"${FILE_DIR}/${TASK_DIR}
          if [ ! -d "${LOG_DIR}" ]; then
            echo "LOG_DIR==="$LOG_DIR
            echo "mkdir -p ${LOG_DIR}"
            mkdir -p "${LOG_DIR}"
            echo "创建日志根目录完成"
          fi
          logdir="${LOG_DIR}"
          #logdir="${LOG_DIR}"
          if [ ! -d "${logdir}" ]; then
            mkdir -p $logdir
          fi
          logfile="${TASK_NAME}_${curr_date}.log"
          filepath="${logdir}/${logfile}"
          file_bak="${filepath}_bak_${curr_date}_${curr_time}"
          if [ -f "${filepath}"  ]; then
              mv $filepath $file_bak
          fi
          >${logdir}/${logfile}

          ## 删除日志目录下30天前的日志文件
          find ${logdir} -type f -mtime +30 -exec rm -rf {} \;

          cn_t=1
          para_args=""
          for element in "$@";{
             if [ $cn_t -eq 1 ] ;then
                 para_args="$para_args"$element
                 let cn_t+=1
               else
                 para_args="$para_args "$element
                 let cn_t+=1
             fi
           }

      echo "*******nohup bash $para_args >> $filepath 2>&1*******"
      start_dt=`date +'%Y-%m-%d %H:%M:%S'`
      start_seconds=$(date --date="$start_dt" +%s)
      nohup bash $para_args >> $filepath 2>&1
      wait
      end_dt=`date +'%Y-%m-%d %H:%M:%S'`
      end_seconds=$(date --date="$end_dt" +%s);
      echo "任务开始时间:${start_dt}">>$filepath
      echo "任务结束时间:${end_dt}">>$filepath
      echo "任务执行时间:"$((end_seconds-start_seconds))"s">>$filepath
    fi
  fi
}

针对上段生成的 日志，如果有datax,sqoop导出数据的记录：可以查出导出数据量

#! /bin/bash -x
function check_data (){
declare -r CURR_DIR=$(cd `dirname $0`;pwd)
PRJ_NAME="/wmt-data"  #项目工程名
JOB_NAME=`basename $0 .sh`
curr_date=`date +%Y%m%d`
curr_time=`date +%H%M%S`
TASK_NAME=$1
# TASK_NAME=${TASK_NAME##*/}
# ${file##*/}：删掉最后一个 /  及其左边的字符串
TASK_DIR=${TASK_NAME#*${CURR_DIR}/}
TASK_DIR=${TASK_DIR%.*}
echo "**********TASK_DIR:$TASK_DIR"
# ${file##*/}：删掉最后一个 /  及其左边的字符串
TASK_NAME=${TASK_NAME##*/}
TASK_NAME=${TASK_NAME%.*}
echo "**********TASK_NAME:$TASK_NAME"
# 日志存放目录
FILE_DIR=${CURR_DIR#*$PRJ_NAME}
# ${file%/*}：删掉最后一个  /  及其右边的字符串：/dir1/dir2/dir3}
LOG_DIR=${CURR_DIR%$PRJ_NAME*}$PRJ_NAME"-logs"${FILE_DIR}/${TASK_DIR}
logdir="${LOG_DIR}"
logfile="${TASK_NAME}_${curr_date}.log"
filepath="${logdir}/${logfile}"
echo "日志读取目录：$filepath"
group=${2:-"wmt运维"}
num=${3:-"8"}
TASK_NAME=${4:-$TASK_NAME}
tmpfile=`mktemp -t log_XXXX.txt`
cat $filepath | egrep '读出记录总数|读写失败总数|Exported|任务执行时间' > $tmpfile
mached=`cat $tmpfile`
if [ "$mached" != "" ];then
   if [[ "$mached" =~ "Exported" ]];then
        list=""
        while read line
        do
        list="$list:"$line
        done<$tmpfile
        echo "list:$list"
        finished=`echo $list|awk -F ":" '{print $5}'`
        echo $finished
        finished=`echo $finished|awk -F " " '{print $2}'`
        dt=`echo $list|awk -F ":" '{print $7}'`
        echo "finished:$finished"
        echo "dt:$dt"
          if [ "$finished" = "" ];then
                echo "alert_dw -t wework -g "$group" -j "$TASK_NAME" -m '"$TASK_NAME "任务没有找到导出记录数，请查原因~~~' -o "$num""|sh
           else
                echo "alert_dw -t wework -g "$group" -j "$TASK_NAME" -m '"$TASK_NAME "任务导出成功，共有"${finished}"条记录，本次任务用时"${dt}"' -o "$num""|sh
           fi
       else
          list=""
          while read line
          do
          list="$list:"$line
          done<$tmpfile
          finished=`echo $list|awk -F ":" '{print $3}'`
          errored=`echo $list|awk -F ":" '{print $5}'`
             if [ "$finished" = "" ];then
                 echo "alert_dw -t wework -g "$group" -j "$TASK_NAME" -m '"$TASK_NAME "任务没有找到导出记录数，请查原因~~~' -o "$num""|sh
             else
                 echo "alert_dw -t wework -g "$group" -j "$TASK_NAME" -m '"$TASK_NAME "任务导出成功, 共有成功"${finished}"条记录，失败"${errored}"条记录' -o "$num""|sh
             fi
      fi
    else
      echo "没有匹配到相关的日志信息"
fi
}

3.run_hive包装函数
功能描述：

  1. 根据 shell 路径和参数执行任务
  2. 如果遇到数据湖的 exception 之类的问题，首先是重跑任务，然后是跑出保存信息到企业微信
#!/bin/bash -x
function run_hive(){
  arguments=$*
  echo $arguments
  job_name=`echo $arguments | sed 's/.*-f\(.*\)\.sql.*/\1/g'`
  count=0

  # JOB执行失败重试过程，失败一分钟后重试
  while [ 0 -eq 0 ]
  do
    echo ".................. ${job_name##*/} start at `date "+%Y-%m-%d %H:%M:%S" `  ..................."

    start_at=`date +'%Y-%m-%d %H:%M:%S'`

    hive ${arguments}


    if [ $? -eq 0 ]; then
          end_at=`date +'%Y-%m-%d %H:%M:%S'`
          start_seconds=$(date --date="$start_at" +%s)
          end_seconds=$(date --date="$end_at" +%s)
          echo "--------------- ${job_name##*/} done at `date "+%Y-%m-%d %H:%M:%S" ` duration: "$((end_seconds-start_seconds))" s ---------------"
          break;
      else
          # 执行失败，重试
          count=$[${count}+1]
          # 指定重试次数，重试超过3次即失败
          if [ ${count} -eq 4 ]; then

              exit 10
              break
          fi
          echo "................${job_name##*/} after 60s retry .............."
          sleep 480
      fi
  done
}

# 功能简介： 输出日志到日志路径
# 参数简介：
#          $1:调度 shell 文件的路径
#          $2:开始时间参数
#          $3:结束时间参数
# 使用案例：
#          ss_logging /u/users/svccnahahs/prod/wmt-data/src/dwd/dwd_offline '2020-04-01' '2020-04-01'
function ss_logging(){

  if [ "$1"=="-h" ]; then 
   echo "功能简介： 输出日志到日志路径"
   echo "参数简介："
   echo "          $1:调度 shell 文件的路径"
   echo "          $2:开始时间参数"
   echo "          $3:结束时间参数"
   echo " 使用案例："
   echo "          ss_logging /u/users/svccnahahs/prod/wmt-data/src/dwd/dwd_offline '2020-04-01' '2020-04-01'"
   return  0 ;
  fi

  JOB_PATH=`dirname ${1}`
  JOB_NAME=`basename ${1}`
  JOB_NAME=${JOB_NAME//.sh/}
  curr_date=`date +%Y%m%d`
  curr_time=`date +%H%M%S`
  start_date=${2}
  end_date=${3}
  PRJ_NAME="/wmt-data"
  LOG_ROOT_DIR=${JOB_PATH%$PRJ_NAME*}$PRJ_NAME"-logs"
  if [ ! -d "${LOG_ROOT_DIR}" ]; then
    echo "LOG_ROOT_DIR==="$LOG_ROOT_DIR
    echo "mkdir -p ${LOG_ROOT_DIR}"
    mkdir -p "${LOG_ROOT_DIR}"
    echo "创建日志根目录完成"
  fi
  logdir="${LOG_ROOT_DIR}/${JOB_NAME}"
  if [ ! -d "${logdir}" ]; then
    mkdir -p $logdir
  fi
  logfile="${JOB_NAME}_${curr_date}.log"

  filepath="${logdir}/${logfile}"
  file_bak="${filepath}_bak_${curr_date}_${curr_time}"
  if [ -f "${filepath}"  ]; then
      mv $filepath $file_bak
  fi

  ## 删除日志目录下60天前的日志文件
  find ${logdir} -type f -mtime +90 -exec rm -rf {} \;
  bash -x ${JOB_PATH}/${JOB_NAME#*cron_}.sh ${start_date} ${end_date} >> $filepath 2>&1 &
}
陈小白成长记
关注
日志生成器
05-01
魔法日志生成器 　
#linux shell#模拟日志生成过程
weixin_33849942的博客
04-06 512
#!/bin/bash lineCount=`wc -l test.old.log | awk '{print $1}'` for((i=1;i<$lineCount;i++)) do if((i%10==0)) then lastNo=$[ $i+10 ] # echo $i+'\r'+$lastNo sed -n "$i...
linux shell日志工具类 可以记录日志用
chengxu2011的专栏
04-03 3488
#!/bin/sh checklevel() { if [ -z $loglevel ]; then loglevel="debug" fi } write_log () { level=$1 msg=$2
shell 脚本日志文件按日期生成
最新发布
zengliguang的专栏
02-07 1037
在Shell脚本中，如果你想要按日期生成日志文件，可以在脚本中动态地构建日志文件名，以便每次运行时都包含当前的日期。每次运行脚本时，它都会创建一个新的日志文件，文件名包含了当前的日期（或日期和时间），从而实现了按日期生成日志文件的功能。你可以根据需要调整日期格式或日志文件的命名约定。例如，如果你想要包括时间信息，你可以修改。命令来实现，该命令可以输出当前的日期和时间。然后，我们使用这个日期来构建一个日志文件名。这样的文件名，其中包含了日期和时间信息。，它将包含当前日期。变量存储了当前的日期，格式为。
linux shell编程学习--日志工具
双湖之梦的专栏
05-14 1448
本文是本人在使用echo进行日志打印输出时候，添加的小功能，方便使用echo日志进行shell脚本调试。日志调试的常见场景，就是希望知道，哪个文件，哪一行，在什么时候打印了相关日志。本文的介绍了一种在不依赖第三方库的时候，为shell日志自动添加日志打印的文件，行号，日期等信息的简便方法，方便shell脚本调试。
random-logger:用于随机日志生成器的Docker映像
05-27
基于Alpine Linux的随机日志生成器的Docker映像。 这是什么？ 该映像将执行一个容器，该容器将生成四个随机日志消息： 2018-03-02T22:33:27-06:00 ERROR something happened in this execution. 2018-03-02T22:33...
shell脚本生成.txt数据文件
03-29
在IT行业中，Shell脚本是一种强大的工具，尤其在Linux或Unix操作系统中，它允许用户自动化执行一系列命令，处理文件和目录，甚至进行复杂的任务管理。在这个特定的场景中，我们关注的是如何使用Shell脚本来生成`.txt...
shell脚本按当前日期输出日志的实现
01-09
在IT行业中，shell脚本是一种常用的自动化工具，尤其在服务器管理和系统维护中不可或缺。通过编写shell脚本，我们可以实现各种任务，例如数据备份、系统监控、日志管理等。本篇文章将详细介绍如何利用shell脚本来...
Shell+Linux命令实现日志分析
09-15
在Linux系统中，Shell脚本配合各种命令工具可以实现高效且灵活的日志分析。本文将详细介绍如何利用Shell和Linux命令来实现日志分析，特别是针对访问日志的统计。 1. 列出当天访问次数最多的IP： 使用`cut`命令以...
chainsaw:电锯-日志数据生成器
05-18
总的来说，Chainsaw是一个强大的日志生成工具，通过Shell脚本的灵活性，能够帮助开发者和运维人员更好地模拟真实的日志环境，从而提升系统测试的有效性和可靠性。对于理解和掌握日志管理以及相关工具的使用，它是一...
linux 下web服务器每天生成日志的shell脚本
04-12
NULL 博文链接：https://jackroomage.iteye.com/blog/1696406
工作日志自动生成软件
11-16
工作中重复的内容太多，每天都写工作日志实在是太麻烦了，不写还不行。 最近因为没时间写工作日志被罚了点钱，忍无可忍之下，写了个自动生成工作日志的软件。把日常的工作内容都写进去，点几下就能自动生成完美的日志，让老板看个够!! 日志无忧功能很简单，添加项目，添加步骤，删除节点，保存结构，清空结构，生成日志，复制生成的内容。 相信对于大部分工作都够用了，工作日志这东西，不创造什么价值，很多人也不重视，但老板希望看到员工的工作进度，希望这款工作日志自动生成软件能帮到大家。 说明： 1. 间隔双击节点可修改内容 2. 选中节点后可拖动和删除 3. 点击右边的生成日志按钮可以自动生成工作日志。 4. 点击复制可以将生成的日志复制到剪贴板 5. 软件可最大化，方便编辑查看 如果软件在你的系统下无法运行。请先下载安装Microsoft .NET Framework 2.0
系统日志生成器
05-18
搜集系统的各种服务、安全、应用程序日志，判断系统出现的问题
log_generator:一个简单的日志生成器
04-19
log_generator 一个简单的日志生成器 功能包括： 自动创建目录/文件（如果尚不存在） 读取日志 列出现有日志 写入日志 自动获取每个日志行的时间 用户可以指定日志文件的名称+请注意，您还必须指定其扩展名，例如：.txt 提交前确认消息以写入日志 日志存储在“ log_dir / <log>”中 日志格式：
工作日志生成器.rar
10-25
工作日志生成器rar,工作日志生成器
java 日志 生成器_Java主流日志工具库
weixin_42452244的博客
02-13 410
1、java.util.logging (JUL)：JDK1.4开始，通过 java.util.logging提供日志功能。它能满足基本的日志需要，但是功能没有Log4j强大，而且使用范围也没有Log4j广泛。2、Log4j：Log4j是apache的一个开源项目，创始人Ceki Gulcu。　　Log4j应该说是Java领域资格最老，应用最广的日志工具。从诞生之日到现在一直广受业界欢迎。　　L...
shell 生成日志的几种方法
热门推荐
岳来的博客
03-25 1万+
shell 生成日志的几种方法
生成器案例，#采集日志
weixin_34204057的博客
11-23 91
生成器： 只要在函数体中看到yield，那么这个函数就是生成器。 yield功能: 1：为我们提供了一种自定义迭代器对象的方法 2：yield其实也是一种返回值，他和return的区别就是：他可以返回多个值。并且函数暂停和继续是有yield帮我们保存的。 #采集日志,并按关键信息检索，然后将收集到的信息写入另一个文件。 import time...
java 日志 生成器_Java自定义轻量级日志生成器(方便内置集成及安全)
weixin_36026999的博客
02-13 573
对于开源的日志生成器(如log4j)不管从输出方式(控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程)或者其他常规使用需求(日志格式、日志信息级别)都已经能完全满足用户需求了，但是对于一些轻量级的集成或者出于安全方面考虑还是需要用户自己实现一套日志生产方式，示例代码如下：importjava.io.File;@b@importjava.io.Fil...
Linux与Unix Shell编程：创建日志和临时文件
Linux与Unix Shell编程指南提供了关于shell脚本编写中关键工具的深入指导，包括文件管理、信号处理和日志记录，这些都是编写高效、可靠脚本的基础。通过学习和掌握这些技巧，开发者可以更好地控制和调试他们的shell...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值