SpringBoot项目整合Kafka+es+logstash+kibana日志收集

前言:

        现在更多项目会把日志整理收集起来,方便客户或者开发查询日志。日志是项目中一个多而且杂的关键组织部分。

        今天将演示的就是kafka+ELK【elasticSearch+logstash+kibana】组成的日志分析系统。其中kafka起到了异步的作用,最小程度减轻了应用本身的资源压力。

环境准备:

        以下所有组件都是以tar.gz包的形式安装、配置。没有用到docker等容器。

1、Kafka

       这边是通过网上下载的kafka安装包,其中内置了zookeeper。解压命令

tar -zxvf kafka_2.12-3.70.tgz -C 指定目录

         这边解压完,如果不需要额外修改端口的话可以直接使用。进入到kafka_1.12目录下

先启动zookeeper

./bin/zookeeper-server-start.sh config/zookeeper.properties

 等启动好后,看到有create new log controller字样即可再去启动kafka

./bin/kafka-server-start.sh config/server.properties 

 这样kafka就启动好了,如果需要后台启动,自行下载 nohup,安装好后在命令前加上nohup,命令最后加上符号 & 即可,示例:

nohup ./bin/kafka-server-start.sh config/server.properties &

 2、elasticSearch

我这边使用wget命令下载的,没有外网的可以去网上下载tar.gz传入Linux。

重点:这里ELK三件套版本问题,es、kibana最好一致,logstash不要相差太多。本人这里踩坑了。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.2-linux-x86_64.tar.gz

解压es,因为es启动不能用root账号启动。建议将解压文件放到/usr/local下

 tar -zxvf  elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local

         ES是这几个中间件中最难配的一个,需要修改JDK环境、JVM参数、线程数等

jdk配置:

        因为elasticsearch和jdk是强依赖关系,es由Java编写。所以下的安装包中也有一个JDK,而我们服务器可能已经安装过JDK就会出现冲突。这边需要修改es中bin目录下elasticsearch-env文件

vim elasticsearch-env   按 i 编辑   esc后 输入 wq 回车保存

将使用的Java指定成我们es安装包中自带的。

JVM配置:

去修改es目录下 config目录下jvm.options 默认的jvm参数太高了,如果服务器性能好可以不做修改

vim jvm.options

 

YML配置:

         配置host和端口,方便后期kibana、logstash访问。修改config目录下的elasticsearch.yml文件。

vim elasticsearch.yml

修改 network.host、http.port、cluster.name、node.name、cluster.initial_master_nodes参数,如图

启动:

        因为es不能直接用root用户启动,需要新建用户,且用root账户给新建账户授权

useradd user-es
passwd 123
接着输入自己的密码即可。接着授权

chown -R user-es:123/usr/local/elasticsearch-7.13.2

然后切换到user-es账户下启动es

su user-es

#bin目录下

./elasticsearch 

如果还未启动可能是线程数、堆大小问题。需要自行解决,这里就不过多赘述了。 

3、kibana

我这儿使用的是wget指令下载的安装包,注意:需要和es版本一致

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.13.2-linux-x86_64.tar.gz

解压至 /usr/local目录下

tar -zxvf kibana-7.13.2-linux-x86_64.tar.gz -C /usr/local

YML配置:

 修改config目录下的kibana.yml 配置IP+端口,并指定elasticsearch地址

 vim kibana.yml

 其中的server.host之所以填0.0.0.0是因为elasticsear和kibana需要连接,使用localhost会连接失败,所以我这边直接使用0.0.0.0放开了所有连接。

启动:

进入到bin目录下,也需要切换到 uesr-es账户下,切换前记得授权

./kibana

4、lostash

使用wget命令下载logstash安装包

wget https://artifacts.elastic.co/downloads/loagstash/logstash-7.5.1-linux-x86_64.tar.gz

 解压至/usr/local目录下

tar -zxvf logstash-7.5.1.tar.gz -C /usr/local

CONF配置 

在logstash conf目录下新建一个 logstash.conf 文件

编辑文件,输入如下内容

# 输入方式 通过监听kafka队列,读取数据
input {
       #
      kafka {
        id => "my_plugin_id"
        bootstrap_servers => "localhost:9092"  #kafka地址
        topics => ["zz-log-topic"]             #队列名称,要于项目logback.xml文件中一致
        auto_offset_reset => "latest"
      }
    }

    # 输出 将监听的日志写入es中
    output {
      stdout { codec => rubydebug }
      elasticsearch {
           hosts =>["localhost:9200"]  # es地址
      }
    }

保存,回到根目录下启动

./bin/logstash -f config/logstash.conf

spring项目配置

maven配置

添加maven依赖

<dependency>
            <groupId>com.github.danielwegener</groupId>
            <artifactId>logback-kafka-appender</artifactId>
            <version>0.2.0-RC2</version>
            <scope>runtime</scope>
        </dependency>

 xml配置

         在项目模块resource目录下新建logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--
scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true。
scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒当scan为true时,此属性生效。默认的时间间隔为1分钟。
debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。
-->
<configuration scan="false" scanPeriod="60 seconds" debug="false">
    <shutdownHook class="ch.qos.logback.core.hook.DelayingShutdownHook"/>
    <springProperty scope="context" name="logging.level" source="logging.level" defaultValue="info"/>

    <!-- 定义日志的根目录 -->
    <property name="LOG_HOME" value="./zzlogs/building" />
    <!-- 定义日志文件名称 -->
    <property name="LOG_NAME" value="building"></property>
    <!-- 下面注释中 %traceid 为SkyWalking 中的traceid -->
    <property name="LOG_PATTERN" value="[%-5level] [%d{yyyy-MM-dd HH:mm:ss}] [%thread] ==> [TxId: %X{PtxId},SpanId: %X{PspanId}]" />
    <property name="LOG_PATTERN_EX" value="[%-5level] [%d{yyyy-MM-dd HH:mm:ss}] T:[%X{traceId}] S:[%X{sessionId}] U:[%X{userId}] [%thread] ==> [%tid] %msg%n" />

    <appender name="kafka_log" class="com.github.danielwegener.logback.kafka.KafkaAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>${LOG_PATTERN_EX}</pattern>
            </layout>
        </encoder>
        <topic>zz-log-topic</topic>
        <keyingStrategy class="com.github.danielwegener.logback.kafka.keying.NoKeyKeyingStrategy" />
        <deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" />
        <producerConfig>bootstrap.servers=localhost:9092</producerConfig>
    </appender>

    <!-- ch.qos.logback.core.ConsoleAppender 表示控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <!--
        日志输出格式:
			%-5level:级别从左显示5个字符宽度
			%d表示日期时间,
			%thread表示线程名,
			%msg:日志消息,
			%n是换行符
        -->
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>${LOG_PATTERN}</pattern>
            </layout>
        </encoder>
    </appender>

    <!-- 滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件 -->
    <appender name="file_log" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 这里为缺省log文件命名配置。注意,如果需要支持基于flume的日志搬运,为了防止文件名滚动过程中,
        重复搬运数据,请将下面两行配置注释掉,从而保证每次生成的日志文件均包含日期信息且不会变化。-->
        <file>${LOG_HOME}/${LOG_NAME}.log</file>
        <append>true</append>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--
            滚动时产生的文件的存放位置及文件名称 %d{yyyy-MM-dd}:按天进行日志滚动
            %i:当文件大小超过maxFileSize时,按照i进行文件滚动
            -->
            <fileNamePattern>${LOG_HOME}/${LOG_NAME}-%d{yyyy-MM-dd}-%i.log</fileNamePattern>
            <!--
            可选节点,控制保留的归档文件的最大数量,超出数量就删除旧文件。假设设置每天滚动,
            且maxHistory是365,则只保存最近365天的文件,删除之前的旧文件。注意,删除旧文件是,
            那些为了归档而创建的目录也会被删除。
            -->
            <!-- 保存31天数据 -->
            <MaxHistory>31</MaxHistory>
            <!--
            当日志文件超过maxFileSize指定的大小是,根据上面提到的%i进行日志文件滚动 注意此处配置SizeBasedTriggeringPolicy是无法实现按文件大小进行滚动的,必须配置timeBasedFileNamingAndTriggeringPolicy
            -->
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>20MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <!-- 日志输出格式: -->
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>${LOG_PATTERN_EX}</pattern>
            </layout>
        </encoder>
    </appender>

    <!-- 然后定义logger,只有定义了logger并引入的appender,appender才会生效 -->
    <!-- 这里我们把输出到控制台appender的日志级别设置为DEBUG,便于调试。但是输出文件我们缺省为INFO,两者均可随时修改。-->
    <root level="${logging.level}">
        <appender-ref ref="console" />
    </root>
    <logger name="springfox.documentation" additivity="false" level="error">
        <appender-ref ref="console" />
    </logger>
    <logger name="apelet" additivity="false" level="info">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <!-- 这里将dao的日志级别设置为DEBUG,是为了SQL语句的输出 -->
    <logger name="apelet.upmsservice.dao" additivity="false" level="debug">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <logger name="apelet.common.log.dao" additivity="false" level="debug">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <logger name="apelet.common.report.dao" additivity="false" level="debug">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <logger name="apelet.common.online.dao" additivity="false" level="debug">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <logger name="apelet.common.flow.dao" additivity="false" level="debug">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <logger name="org.flowable" additivity="false" level="info">
        <appender-ref ref="console" />
        <appender-ref ref="kafka_log"/>
        <appender-ref ref="file_log" />
    </logger>
    <statusListener class="ch.qos.logback.core.status.OnConsoleStatusListener"/>
</configuration>

xml详解:

启动服务测试 

 访问kibana,看日志是否写入到了es

  • 28
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值