SpringCloud集成日志收集plumelog

00oo00oo00

于 2024-06-14 11:40:46 发布

阅读量463

点赞数 3

文章标签： java 开发语言

本文链接：https://blog.csdn.net/weixin_45410882/article/details/136656874

版权

Java 分布式集成日志plumelog

前言
- 1、安装redis，elasticsearch

前言

本文所用到的redis，elasticsearch全部使用docker进行安装使用

1、安装redis，elasticsearch

1、redis

#查看redis版本
sudo docker search redis
#下载最新版本
sudo docker pull redis:latest
#启动redis并设置密码 –restart=always：总是开机启动 –appendonly yes 开启Redis持久化 –requirepass 000415 设置密码
docker run -itd --name redis-test –restart=always –appendonly yes –requirepass 000415  -p 6379:6379 redis bash

2、elasticsearch

#拉取es镜像，版本可自己选择，7.x使用的是jdk1.8版本，8.x需要17以上
docker pull elasticsearch:7.12.1
docker run -itd --name elasticsearch --restart=always -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 elasticsearch:7.12.1

命令解释：

-e “ES_JAVA_OPTS=-Xms512m -Xmx512m”：内存大小，测试设置小，线上根据配置定
-e “discovery.type=single-node”：非集群模式
-p 9200:9200：端口映射配置

运行后浏览器访问 http://ip:9200，出现下图后说明运行成功
运行成功截图

3、下载plumelog

plumelog简介在这里不做赘述（点击查看官网介绍），我个人认为，plumelog是一款方便快速集成，使用方便的一款日志收集框架，适用于中小型项目。
本文采用的是plumelog3.5，下载地址
在这里插入图片描述
下载后，传到服务器进行解压，解压后目录如下：

更改application.properties文件内容，此处是根据自己的环境来配置，我使用的启动模式是redis，当然官网还提供了kafka,lite，外加嵌入式版本plumelog-lite，可以去官网查看其他启动方式是怎么修改配置文件的。
在此处修改配置文件中，我仅修改了redis、es的地址，其他均未修改，使用的是官网给出的默认配置。

spring.application.name=plumelog_server
spring.profiles.active=test-confidential
server.port=8891
spring.thymeleaf.mode=LEGACYHTML5
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html
spring.mvc.static-path-pattern=/plumelog/**
spring.boot.admin.context-path=admin

#值为4种 redis,kafka,rest,restServer
#redis 表示用redis当队列
#kafka 表示用kafka当队列
#rest 表示从rest接口取日志
#restServer 表示作为rest接口服务器启动
#ui 表示单独作为ui启动
#lite 简易模式启动不需要配置redis等
plumelog.model=redis
#plumelog.lite.log.path=/Users/chenlongfei/lucene
#如果使用kafka,启用下面配置
#plumelog.kafka.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092
#plumelog.kafka.kafkaGroupName=logConsumer

#队列redis地址，model配置redis集群模式，哨兵模式用逗号隔开，队列redis不支持集群模式
plumelog.queue.redis.redisHost=redis:6379
#如果使用redis有密码,启用下面配置
#plumelog.queue.redis.redisPassWord=Jch9shshl
plumelog.queue.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.queue.redis.sentinel.masterName=myMaster

#管理端redis地址 ，集群用逗号隔开，不配置将和队列公用
#plumelog.redis.redisHost=127.0.0.1:6379
#如果使用redis有密码,启用下面配置
#plumelog.redis.redisPassWord=123456
#plumelog.redis.redisDb=0
#哨兵模式需要配置的
#plumelog.redis.sentinel.masterName=myMaster

#如果使用rest,启用下面配置
#plumelog.rest.restUrl=http://127.0.0.1:8891/getlog
#plumelog.rest.restUserName=plumelog
#plumelog.rest.restPassWord=123456

#redis解压缩模式，开启后不消费非压缩的队列
#plumelog.redis.compressor=true

#elasticsearch相关配置，Hosts支持携带协议，如：http、https
plumelog.es.esHosts=es:9200
plumelog.es.shards=5
plumelog.es.replicas=1
plumelog.es.refresh.interval=30s
#日志索引建立方式day表示按天、hour表示按照小时
plumelog.es.indexType.model=day
plumelog.es.maxShards=100000
#ES设置密码,启用下面配置
#plumelog.es.userName=elastic
#plumelog.es.passWord=elastic
#是否信任自签证书
#plumelog.es.trustSelfSigned=true
#是否hostname验证
#plumelog.es.hostnameVerification=false


#单次拉取日志条数
plumelog.maxSendSize=100
#拉取时间间隔，kafka不生效
plumelog.interval=100

#plumelog-ui的地址 如果不配置，报警信息里不可以点连接
plumelog.ui.url=http://demo.plumelog.com

#管理密码，手动删除日志的时候需要输入的密码
admin.password=123456

#日志保留天数,配置0或者不配置默认永久保留
admin.log.keepDays=30
#链路保留天数,配置0或者不配置默认永久保留
admin.log.trace.keepDays=30
#登录配置，配置后会有登录界面
login.username=admin
login.password=admin

配置文件修改后，可直接使用启动脚本启动项目
在这里插入图片描述
还可以直接查看log文件 (使用tail -f ./logs/plumelog-server.log.xx-xx-xx.log)

到此plumelog在服务器启动成功，接下来是在项目中集成。

4、在项目中集成

项目使用的是分布式，左侧是项目目录，右侧是在主项目的pom.xml文件中添加的依赖
在这里插入图片描述

<dependency>
    <groupId>com.plumelog</groupId>
    <artifactId>plumelog-logback</artifactId>
    <version>3.5.3</version>
</dependency>

plumelog在项目运用时提供了三种配置方式，log4j、logback、log4j2，视自己项目情况而定，在这里我使用的是logback。
配置非常方便，只需要新建一个xml为logback-spring.xml（把配置放到公共模块，commons下的resource中），这里需要注意的是：

在这里插入图片描述

以下是官网给出配置，可直接复制粘贴，修改以下redis配置即可

<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
    <appender name="consoleApp" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </layout>
    </appender>

    <appender name="fileInfoApp" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </encoder>
        <!-- 滚动策略 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 路径 -->
            <fileNamePattern>log/info.%d.log</fileNamePattern>
        </rollingPolicy>
    </appender>

    <appender name="fileErrorApp" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>
                %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n
            </pattern>
        </encoder>

        <!-- 设置滚动策略 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 路径 -->
            <fileNamePattern>log/error.%d.log</fileNamePattern>

            <!-- 控制保留的归档文件的最大数量，超出数量就删除旧文件，假设设置每个月滚动，
            且<maxHistory> 是1，则只保存最近1个月的文件，删除之前的旧文件 -->
            <MaxHistory>1</MaxHistory>
        </rollingPolicy>
    </appender>
<!--    获取项目名称-->
    <springProperty scope="context" name="plumelog.appName" source="spring.application.name"/>
    <appender name="plumelog" class="com.plumelog.logback.appender.RedisAppender">
        <appName>${plumelog.appName}</appName>
        <redisHost>redis</redisHost>
        <redisAuth>123456</redisAuth>
        <redisPort>6379</redisPort>
<!--        1表示最高性能模式，2表示低性能模式 但是2可以获取更多信息 不配置默认为1-->
<!--        <runModel>2</runModel>-->
    </appender>

    <!-- root 一定要放在最后，因有加载顺序的问题 -->
    <root level="INFO">
        <appender-ref ref="consoleApp"/>
        <appender-ref ref="fileInfoApp"/>
        <appender-ref ref="fileErrorApp"/>
        <appender-ref ref="plumelog"/>
    </root>
</configuration>

到这里在项目中集成就ok了，启动项目后就可以看到有日志了。

5、运行项目

这里我是把项目打包放到了服务器，在服务器运行的，你们也可以在本地启动，但是需要注意一下以上的关于redis和es的配置。
启动项目后访问http://ip:8891/ 就能看到日志了
在这里插入图片描述
关于里面的功能不做详解，有需要可以去看下官网。
本篇文章是在我的另外一篇文章【快速搭建SpringCloud分布式项目】的背景下写的，有需要可以去看看