自定义shell脚本采集日志信息

一、模拟日志的动态产生

在真实的环境中，日志是有nginx或者是tomcat等容器生成的，只需要采集的脚本或者是框架如flume、logstack等。
在本次测试中，采取log4j动态生成来模拟真实环境。
GenerateLog.java

package log;


import org.apache.log4j.LogManager;
import org.apache.log4j.Logger;

import java.util.Date;

/**
 *模拟生成日志
 * Created by tianjun on 2017/3/16.
 */
public class GenerateLog {
   
    public static void main(String[] args) throws InterruptedException {
        Logger logger = LogManager.getLogger("testlog");
        int i = 0;
        while (true){
            logger.info(new Date().toString() + "-------------------------------");
            i++;
            Thread.sleep(500);
            if(i>1000000){
                break;
            }
        }
    }
}

把上面代码打包上传到linux即可。
需要注意如下：
log4j.properties

log4j.rootLogger=INFO,testlog
#滚动
log4j.appender.testlog = org.apache.log4j.RollingFileAppender
log4j.appender.testlog.layout = org.apache.log4j.PatternLayout
log4j.appender.testlog.layout.ConversionPattern = [%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%n%m%n
log4j.appender.testlog.Threshold = INFO
log4j.appender.testlog.ImmediateFlush = TRUE
log4j.appender.testlog.Append = TRUE
#日志打印到的路径
log4j.appender.testlog.File = /home/hadoop/logs/log/access.log
log4j.appender.testlog.MaxFileSize = 10KB
log4j.appender.testlog.MaxBackupIndex = 20
#log4j.appender.testlog.Encoding = UTF-8

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>tianjun.cmcc.org</groupId>
    <artifactId>mr.demo</artifactId>
    <version>1.0-SNAPSHOT