PlumeLog分布式日志系统+Spring Boot

1、简介

        无入侵的分布式日志系统，基于log4j、log4j2、logback搜集日志，设置链路ID，方便查询关联日志。
        基于elasticsearch作为查询引擎。
        高吞吐，查询效率高。
        全程不占应用程序本地磁盘空间，免维护;对于项目透明，不影响项目本身运行。
        无需修改老项目，引入直接使用，支持dubbo,支持springcloud。

---

2、部署准备

        本文消息队列采用Redis，其余支撑组件还有ES，在接下来的部署过程中，请大家将所需环境准备好，如有需要可以从下文快速部署环境：

        Redis快速部署

        elasticsearch快速部署

---

 3、下载

        大家可以去官网下载，下面我也提供了我测试使用的版本:

        链接：https://pan.baidu.com/s/13xA55auHSSzV9KVBYJy7dw 
        提取码：9pxv

---

 4、部署PlumeLog-3.5

        解压安装包，得到目录结构：

4.1、修改 application.properties

1.1修改redis对应配置
    plumelog.queue.redis.redisHost=localhost:6379
    #如果使用redis有密码,启用下面配置
    plumelog.queue.redis.redisPassWord=876543
    plumelog.queue.redis.redisDb=0
1.2修改es对应配置
    plumelog.es.esHosts=localhost:9200
    plumelog.es.shards=5
    plumelog.es.replicas=0
    plumelog.es.refresh.interval=30s
    #日志索引建立方式day表示按天、hour表示按照小时
    plumelog.es.indexType.model=day
    plumelog.es.maxShards=100000
1.3设置登录账号密码
    #登录配置，配置后会有登录界面
    login.username=admin
    login.password=admin

完整配置文件：

spring.application.name=plumelog_server
spring.profiles.active=test-confidential
server.port=8891
spring.thymeleaf.mode=LEGACYHTML5
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html
spring.mvc.static-path-pattern=/plumelog/**
spring.boot.admin.context-path=admin

#值为4种 redis,kafka,rest,restServer
#redis 表示用redis当队列
#kafka 表示用kafka当队列
#rest 表示从rest接口取日志
#restServer 表示作为rest接口服务器启动
#ui 表示单独作为ui启动
#lite 简易模式启动不需要配置redis等
plumelog.model=redis
#plumelog.lite.log.path=/Users/chenlongfei/lucene
#如果使用kafka,启用下面配置
#plumelog.kafka.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092
#plumelog.kafka.kafkaGroupName=logConsumer

#队列redis地址，model配置redis集群模式，哨兵模式用逗号隔开，队列redis不支持集群模式
plumelog.queue.redis.redisHost=localhost:6379
#如果使用redis有密码,启用下面配置
plumelog.queue.redis.redisPassWord=876543
plumelog.queue.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.queue.redis.sentinel.masterName=myMaster

#管理端redis地址 ，集群用逗号隔开，不配置将和队列公用
#plumelog.redis.redisHost=127.0.0.1:6379
#如果使用redis有密码,启用下面配置
#plumelog.redis.redisPassWord=123456
#plumelog.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.redis.sentinel.masterName=myMaster

#如果使用rest,启用下面配置
#plumelog.rest.restUrl=http://127.0.0.1:8891/getlog
#plumelog.rest.restUserName=plumelog
#plumelog.rest.restPassWord=123456

#redis解压缩模式，开启后不消费非压缩的队列
#plumelog.redis.compressor=true

#elasticsearch相关配置，Hosts支持携带协议，如：http、https
plumelog.es.esHosts=localhost:9200
plumelog.es.shards=5
plumelog.es.replicas=0
plumelog.es.refresh.interval=30s
#日志索引建立方式day表示按天、hour表示按照小时
plumelog.es.indexType.model=day
plumelog.es.maxShards=100000
#ES设置密码,启用下面配置
#plumelog.es.userName=elastic
#plumelog.es.passWord=elastic
#是否信任自签证书
#plumelog.es.trustSelfSigned=true
#是否hostname验证
#plumelog.es.hostnameVerification=false


#单次拉取日志条数
plumelog.maxSendSize=100
#拉取时间间隔，kafka不生效
plumelog.interval=100

#plumelog-ui的地址 如果不配置，报警信息里不可以点连接
plumelog.ui.url=http://demo.plumelog.com

#管理密码，手动删除日志的时候需要输入的密码
admin.password=123456

#日志保留天数,配置0或者不配置默认永久保留
admin.log.keepDays=30
#链路保留天数,配置0或者不配置默认永久保留
admin.log.trace.keepDays=30
#登录配置，配置后会有登录界面
login.username=admin
login.password=admin

4.2、关联项目 

         依赖的maven

        <!--PlumeLog-->
        <dependency>
            <groupId>com.plumelog</groupId>
            <artifactId>plumelog-logback</artifactId>
            <version>2.1.1</version>
        </dependency>

        我的项目使用的是LogBack输出日志

        我只列出了主要修改的部分，其他的日志输出配置大家可以去网上查询

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="false">
    
    <appender name="consoleApp" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </layout>
    </appender>
 
    <appender name="fileInfoApp" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </encoder>
        <!-- 滚动策略 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 路径 -->
            <fileNamePattern>log/info.%d.log</fileNamePattern>
        </rollingPolicy>
    </appender>
 
    <appender name="fileErrorApp" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </encoder>
 
        <!-- 设置滚动策略 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 路径 -->
            <fileNamePattern>log/error.%d.log</fileNamePattern>
 
            <!-- 控制保留的归档文件的最大数量，超出数量就删除旧文件，假设设置每个月滚动，
            且<maxHistory> 是1，则只保存最近1个月的文件，删除之前的旧文件 -->
            <MaxHistory>1</MaxHistory>
        </rollingPolicy>
    </appender>

    <appender name="PLUME_LOG" class="com.plumelog.logback.appender.RedisAppender">
        <appName>rgom_log</appName>
        <redisHost>localhost</redisHost>
        <redisAuth>876543</redisAuth>
        <redisPort>6379</redisPort>
    </appender>

    <!-- root 一定要放在最后，因有加载顺序的问题 -->
    <root level="INFO">
        <appender-ref ref="consoleApp"/>
        <appender-ref ref="fileInfoApp"/>
        <appender-ref ref="fileErrorApp"/>
        <appender-ref ref="PLUME_LOG"/>
    </root>
</configuration>

 4.3、链路跟踪集成

        目前尚未集成，后续将会更新

 4.4、启动PlumeLog

        windows启动使用startup.bat

        Linux使用startup.sh

        启动后将对接的项目启动，跑起来，这样才会有日志

        访问 ip:8891，默认用户名和密码都是admin，部署启动成功效果