自定义shell脚本采集日志信息

最新推荐文章于 2022-10-18 14:32:15 发布
最新推荐文章于 2022-10-18 14:32:15 发布
阅读量4.1k 收藏 4
点赞数
分类专栏： 日志采集 文章标签： 日志采集脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianjun2012/article/details/62424486
版权

一、模拟日志的动态产生

在真实的环境中，日志是有nginx或者是tomcat等容器生成的，只需要采集的脚本或者是框架如flume、logstack等。
在本次测试中，采取log4j动态生成来模拟真实环境。
GenerateLog.java

package log;


import org.apache.log4j.LogManager;
import org.apache.log4j.Logger;

import java.util.Date;

/**
 *模拟生成日志
 * Created by tianjun on 2017/3/16.
 */
public class GenerateLog {
    public static void main(String[] args) throws InterruptedException {
        Logger logger = LogManager.getLogger("testlog");
        int i = 0;
        while (true){
            logger.info(new Date().toString() + "-------------------------------");
            i++;
            Thread.sleep(500);
            if(i>1000000){
                break;
            }
        }
    }
}

把上面代码打包上传到linux即可。
需要注意如下：
log4j.properties

log4j.rootLogger=INFO,testlog
#滚动
log4j.appender.testlog = org.apache.log4j.RollingFileAppender
log4j.appender.testlog.layout = org.apache.log4j.PatternLayout
log4j.appender.testlog.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n
log4j.appender.testlog.Threshold = INFO
log4j.appender.testlog.ImmediateFlush = TRUE
log4j.appender.testlog.Append = TRUE
#日志打印到的路径
log4j.appender.testlog.File = /home/hadoop/logs/log/access.log
log4j.appender.testlog.MaxFileSize = 10KB
log4j.appender.testlog.MaxBackupIndex = 20
#log4j.appender.testlog.Encoding = UTF-8

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>tianjun.cmcc.org</groupId>
    <artifactId>mr.demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.4</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.13</version>
        </dependency>


    </dependencies>



    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>log.GenerateLog</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

比较推荐这个种maven插件打包，可以看到打包后又两个jar包
这里写图片描述
其中 original开头的就是我们普通的打包，不带任何依赖包。
另外一个就是打包进了所有的依赖jar包。
一边选择有依赖包的jar即可。
模拟结果：

.
└── logs
    ├── log
    │   ├── access.log
    │   ├── access.log.1
    │   ├── access.log.10
    │   ├── access.log.11
    │   ├── access.log.12
    │   ├── access.log.13
    │   ├── access.log.14
    │   ├── access.log.15
    │   ├── access.log.2
    │   ├── access.log.3
    │   ├── access.log.4
    │   ├── access.log.5
    │   ├── access.log.6
    │   ├── access.log.7
    │   ├── access.log.8
    │   └── access.log.9
    └── toupload

二、shell脚本的编写

collectdata.sh:

#!/bin/bash

#set java env
export JAVA_HOME=/export/server/jdk/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/export/server/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH



#解决的问题
#       1、先将需要上传的文件移动到待上传目录
#       2、在讲文件移动到待上传目录时，将文件按照一定的格式重名名
#               /export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}


#日志文件存放的目录
log_src_dir=/home/hadoop/logs/log/

#待上传文件存放的目录
log_toupload_dir=/home/hadoop/logs/toupload/


#日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/20170216/

#打印环境变量信息
echo "envs: hadoop_home: $HADOOP_HOME"


#读取日志文件的目录，判断是否有需要上传的文件
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
        if [[ "$fileName" == access.log.* ]]; then
        # if [ "access.log" = "$fileName" ];then
                date=`date +%Y_%m_%d_%H_%M_%S`
                #将文件移动到待上传目录并重命名
                #打印信息
                echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
                mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName""_"$date
                #将待上传的文件path写入一个列表文件willDoing
                echo $log_toupload_dir"xxxxx_click_log_$fileName""_"$date >> $log_toupload_dir"willDoing."$date
        fi

done
#找到列表文件willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
        #打印信息
        echo "toupload is in file:"$line
        #将待上传文件列表willDoing改名为willDoing_COPY_
        mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
        #读列表文件willDoing_COPY_的内容（一个一个的待上传文件名）  ,此处的line 就是列表中的一个待上传文件的path
        cat $log_toupload_dir$line"_COPY_" |while read line
        do
                #打印信息
                echo "puting...$line to hdfs path.....$hdfs_root_dir"
                hadoop fs -put $line $hdfs_root_dir
        done
        mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done

预先创建：
1、日志文件存放的目录
log_src_dir=/home/hadoop/logs/log/

2、待上传文件存放的目录
log_toupload_dir=/home/hadoop/logs/toupload/

3、日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/20170216/
即可。
某次的采集结果：

.
└── logs
    ├── log
    │   ├── access.log
    └── toupload
        ├── willDoing.2017_03_16_14_39_01_DONE_
        ├── willDoing.2017_03_16_14_40_01_DONE_
        ├── willDoing.2017_03_16_14_41_01_DONE_
        ├── willDoing.2017_03_16_14_42_01_DONE_
        ├── willDoing.2017_03_16_14_47_02_DONE_
        ├── willDoing.2017_03_16_14_47_03_DONE_
        ├── willDoing.2017_03_16_14_48_50_DONE_
        ├── willDoing.2017_03_16_14_59_14_DONE_
        ├── xxxxx_click_log_2017_03_16_14_39_01
        ├── xxxxx_click_log_2017_03_16_14_40_01
        ├── xxxxx_click_log_2017_03_16_14_41_01
        ├── xxxxx_click_log_2017_03_16_14_42_01
        ├── xxxxx_click_log_access.log.10_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.11_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.1_2017_03_16_14_47_02
        ├── xxxxx_click_log_access.log.1_2017_03_16_14_48_50
        ├── xxxxx_click_log_access.log.1_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.12_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.13_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.14_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.15_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.16_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.17_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.2_2017_03_16_14_47_02
        ├── xxxxx_click_log_access.log.2_2017_03_16_14_48_50
        ├── xxxxx_click_log_access.log.2_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.3_2017_03_16_14_47_02
        ├── xxxxx_click_log_access.log.3_2017_03_16_14_48_50
        ├── xxxxx_click_log_access.log.3_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.4_2017_03_16_14_47_02
        ├── xxxxx_click_log_access.log.4_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.5_2017_03_16_14_47_03
        ├── xxxxx_click_log_access.log.5_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.6_2017_03_16_14_47_03
        ├── xxxxx_click_log_access.log.6_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.7_2017_03_16_14_47_03
        ├── xxxxx_click_log_access.log.7_2017_03_16_14_59_14
        ├── xxxxx_click_log_access.log.8_2017_03_16_14_59_14
        └── xxxxx_click_log_access.log.9_2017_03_16_14_59_14

三、定期启动脚步采集

日志不可能只采集一次，所以需要时间调度，如每隔一分钟采集一次。
采用crontab进行定期采集：
crontab语法：

crontab [-u username] [-l|-e|-r]
选项与参数：
-u  ：只有 root 才能进行这个任务，亦即帮其他使用者创建/移除 crontab 工作排程；
-e  ：编辑 crontab 的工作内容
-l  ：查阅 crontab 的工作内容
-r  ：移除所有的 crontab 的工作内容，若仅要移除一项，请用 -e 去编辑

查询使用者目前的 crontab 内容:

crontab -l
#每隔五分钟采集一次
*/5 * * * *  /root/collectdata.sh

清空使用者目前的 crontab:

crontab -r
crontab -l
no crontab for blue

如果你想删除当前用户的某一个crontab任务，那么使用crontab -e进入编辑器，再删除对应的任务。

tianjun2012
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本自定义日志
12-21
在linux下使用此脚本可以自定义日志，记录所有的shell命令
服务器通过.sh文件运行任务然后记录日志
小夭的博客
04-16 1592
基于上一篇文章在服务器跑代码的话，如果直接打印日志，会把最前面的刷没有，所以想输出日志的情况，单独记录一些命令 （1）首先进入到我们需要的文件夹 touch train.sh （2）修改文件，添加需要的命令 vim train.sh 我这里输出了log.out文件 （3）添加权限 chmod u+x train.sh （4）运行脚本 ./train.sh （5）查看日志 ......
【游戏测试】用 python 写个自动拉取手机或模拟器游戏 log 到本地的工具
pppp3648的博客
03-02 402
情景：开发人员在查 bug 时经常需要我们提供手机或模拟器中的 log，之前都是手动或用adb命令拉去后再发送给前端程序员，鉴于不太方便自己写了个脚本实现一键拉去日志到本地的功能。 运行后的效果,所有模拟器和测试机按名称分文件夹，点进去可以看到从设备上复制过来的日志文件： 代码如下： import os class LogPuller: def __init__(self): #为了连接mumu模拟器 try: cmd = 'a
制作查看日志脚本
tetsuki的博客
08-16 329
制作查看日志脚本 制作一个简单的查看日志的脚本 cd ~ vim autoquerygslogs.sh #这里配置实际项目的日志地址 path=/data/nfs-data/logs/xxx function Help(){ echo -e "\033[37;40m1.请根据格式执行./autoquerygslogs.log +'-服务名'运行脚本日志工具\033[0m" echo -e "\0...
制作bat脚本，抓取Android设备logcat
c657674129的博客
09-11 633
转子地址：https://www.cnblogs.com/zml-forever/p/5102381.html
shell创建web应用抓取日志及应用重启脚本
Maze -- life is amazing
08-23 349
输入tomcat应用日志文件路径，脚本根据日志文件路径生成3个脚本：captureKeyWord.sh（过滤实时日志关键字），grepKeyWord.sh（抓取已生成日志中查询关键字），restartApp.sh（重启tomcat应用）   ## 应用日志路径如：/home/wy/www/应用名/logs/catalina.out，或/export/Domains/应用名/server1/lo...
105-shell脚本-项目级别-实现系统日志的自动化获取
流花飞羽的专栏
10-18 585
前言：作为一名IT人，无论是测试工程师，还是开发工程师，在日常工作中，去系统上那日志进行分析，那是常有的事情，在敏捷开发模式中，每天一个包，每天去重复的拿日志，而且面临不同的日志目录，手动去拉取是十分繁琐和麻烦的事情。假设在该项目中有不同的子系统服务，不同服务有不同路径，不同路径下都有log文件夹，都是来存放日志的，我们的目的就是通过shell脚本，（1）时间戳，用生成永不重复的文件夹名称，实现任意时刻运行脚本不重复，不覆盖。（1）将不同子系统不同目录下的具有相同名字的文件夹log复制出来，
监控日志文件shell脚本，截取某段时间
m0_62999992的博客
09-19 1006
监控日志文件shell脚本，截取某段时间
shell awk读取Nginx最近5分钟的访问日志数
macken
12-17 1351
脚本代码   date1=`date -d "$date1" +%Y%H%M` logpath="access.log" cat $logpath |awk -v now=$date1 'BEGIN{count=0}{if(match($4,'/\\\\/[0-9:]+/')){ date=substr($4,RSTART+1,10);if(date&gt;=now &amp;&amp; ...
Shell之提取文件增量信息
07-18 977
问题：有些时候需要实时监控Linux中某日志文件，不断地分析该文件的增量信息，并对这些信息进行相应的处理。 分析：可以每隔一段时间，提取该文件在该时间段增加的信息。 环境：比如文件为info.log 方法：方法1. 每隔一小时将该文件mv为info-时间.log，此时相当于把info.log清空，并把前一小时的log信息另存为一个带有时间信息的文件。这样，就把日志按照一小时一小时得存为不同文
使用shell脚本采集系统cpu、内存、磁盘、网络等信息
09-15
主要介绍了使用shell脚本采集系统cpu、内存、磁盘、网络等信息,需要的朋友可以参考下
Linux使用shell脚本定时删除历史日志文件
01-09
2、删除历史文件脚本 del_history_files [root@www tools]# more tools/bin/del_history_files #!/bin/sh # 删除指定目录下，文件时间早于指定时间节点的文件，时间粒度：小时 # 配置文件格式 ： 需清理的目录=...
ShellScripts:自定义 Shell 脚本
07-10
ShellScripts 自定义 Shell 脚本 我的杂项 shell 脚本目录。 一些powershell，一些bash。
Shell脚本定期清空大于1G的日志文件
01-10
一个关于如何在指定文件大于1GB后，自动删除的问题。 批处理代码如下： 代码如下: #!/bin/bash # 当/var/log/syslog大于1GB时 # 自动将其备份，并清空 ...cat /var/log/syslog >> ~/log/history # 将日志备
126邮箱页 html源码 单页源码 网站后台登陆界面HTML源码.zip
04-23
126邮箱页 html源码 单页源码 网站后台登陆界面HTML源码
武汉开放数据创新大赛——烽火杯文件.zip
04-23
武汉开放数据创新大赛——烽火杯文件
mmexport1713881481676.png
04-23
mmexport1713881481676.png
Digital currency trading platformAdobeXD源码下载设计素材UI设计.xd
最新发布
04-23
Digital currency trading platform landing pageAdobeXD源码下载设计素材UI设计
shell脚本打印日志
03-16
可以使用Shell脚本打印日志，具体的实现方式取决于你使用的Shell语言和你希望输出的日志格式。 以下是一个Bash脚本的例子，可以在执行脚本时将日志输出到文件中： ``` #!/bin/bash # 日志输出函数 function log()...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值