SpringBoot+ELK+Kafaka

最新推荐文章于 2022-07-13 13:11:37 发布
最新推荐文章于 2022-07-13 13:11:37 发布
阅读量2k 收藏 6
点赞数
分类专栏： Elasticsearch Logstash Kibana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010289197/article/details/100785869
版权

ELK由Elasticsearch、Logstash和Kibana三部分组件组成。

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用。

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

原理

 

 

 

搭建Elasticsearch

Elasticsearch安装

Elasticsearch安装

 

1.下载ElasticSearch

[root@localhost 20190903]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz

2. 创建加压目录

 

[root@localhost local]# mkdir elasticsearch

3.解压elasticsearch-6.3.2.tar.gz

[root@localhost elasticsearch]# tar -xvf elasticsearch-6.3.2.tar.gz -C /usr/local/elasticsearch

4. 修改配置

[root@localhost config]# vi elasticsearch.yml

network.host: 192.168.126.139       #你自己的服务器ip

http.port: 9200                    #端口号

5.启动

[root@localhost bin]# ./elasticsearch –d

6.测试

[root@localhost elasticsearch-6.3.2]# curl http://192.168.126.193:9200

出现问题：

 

主要是由于jvm内存不足引起的。

/usr/local/elasticsearch/elasticsearch-6.3.2/config中找到jvm.options

[root@localhost config]# vi jvm.options

修改成：

-Xms512m

-Xmx512m

默认是
-Xms1g

-Xmx1g

 

[root@localhost bin]# ./elasticsearch

 

出现上面的问题：

因为，root不允许直接启动。需要创建新用户和并且给用户授权。

（1）以root用户来创建新的用户 , groupadd 添加一个用户组

[root@localhost /]# groupadd elk

（2）添加一个用户，-g是在用户组下 -p是密码（用户为elk，密码elk）

[root@localhost /]# useradd elk -g elk -p elk

（3）进入es的安装目录

[root@localhost elasticsearch]# cd /usr/local/elasticsearch

（4）给用户elk授权

[root@localhost elasticsearch]# chown -R elk:elk elasticsearch-6.3.2/

（5）切换到 elk用户

[root@localhost elasticsearch]# su elk

[elk@localhost bin]$ ./elasticsearch

 

[2019-09-06T18:56:32,329][INFO ][o.e.x.s.a.s.FileRolesStore] [vYAPqA0] parsed [0] roles from file [/usr/local/elasticsearch/elasticsearch-6.3.2/config/roles.yml]

[2019-09-06T18:56:33,142][INFO ][o.e.x.m.j.p.l.CppLogMessageHandler] [controller/9584] [Main.cc@109] controller (64 bit): Version 6.3.2 (Build 903094f295d249) Copyright (c) 2018 Elasticsearch BV

[2019-09-06T18:56:33,591][DEBUG][o.e.a.ActionModule       ] Using REST wrapper from plugin org.elasticsearch.xpack.security.Security

[2019-09-06T18:56:33,855][INFO ][o.e.d.DiscoveryModule    ] [vYAPqA0] using discovery type [zen]

[2019-09-06T18:56:34,886][INFO ][o.e.n.Node               ] [vYAPqA0] initialized

[2019-09-06T18:56:34,886][INFO ][o.e.n.Node               ] [vYAPqA0] starting ...

[2019-09-06T18:56:35,165][INFO ][o.e.t.TransportService   ] [vYAPqA0] publish_address {192.168.126.139:9300}, bound_addresses {192.168.126.139:9300}

[2019-09-06T18:56:35,196][INFO ][o.e.b.BootstrapChecks    ] [vYAPqA0] bound or publishing to a non-loopback address, enforcing bootstrap checks

ERROR: [2] bootstrap checks failed

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

切换到root用户

[elk@localhost bin]$ su root

设置vm.max_map_count值

[root@localhost bin]# sysctl -w vm.max_map_count=262144

 

检查配置是否生效

[root@localhost bin]# sysctl -a | grep "vm.max_map_count"

 

再次启动报如下所示错误：

[2019-09-06T19:05:18,204][INFO ][o.e.b.BootstrapChecks    ] [vYAPqA0] bound or publishing to a non-loopback address, enforcing bootstrap checks

ERROR: [1] bootstrap checks failed

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

 

报错max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]是因为操作系统安全检测配置影响的，需要切换到root用户下做如下配置：

[root@localhost bin]# cd /etc/security/

先做一个配置备份

[root@localhost security]#  cp limits.conf limits.conf.bak

然后编辑limits.conf增加如下配置：

# elasticsearch config start

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

# elasticsearch config end

在次启动：

[elk@localhost bin]$ ./elasticsearch

 

 

[2019-09-06T19:13:14,612][INFO ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [vYAPqA0] publish_address {192.168.126.139:9200}, bound_addresses {192.168.126.139:9200}

[2019-09-06T19:13:14,612][INFO ][o.e.n.Node               ] [vYAPqA0] started

6.测试验证

[root@localhost ~]# ps -ef|grep elasticsearch

 

http://192.168.126.193:9200/

 

开机自启配置

(1)在/etc/init.d/目录下创建elasticsearch自启动脚本

[root@localhost ~]# cd /etc/init.d/

[root@localhost init.d]# vi elasticsearch

 

注意：红色地方的配置。

Elasticsearch内容如下所示：

#!/bin/sh
#chkconfig: - 85 15
#description: elasticsearch
#author: fab
 

export JAVA_HOME=/usr/java/jdk1.8.0_211
export JAVA_BIN=/usr/java/jdk1.8.0_211/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

case "$1" in
start)
    cd /usr/local/elasticsearch
    chown -R elk:elk elasticsearch-6.3.2/
    sysctl -w vm.max_map_count=262144
    sysctl -a | grep "vm.max_map_count"
    su elk<<!
    cd /usr/local/elasticsearch/elasticsearch-6.3.2
    ./bin/elasticsearch
!
    echo "elasticsearch startup"
    ;;  
stop)
    es_pid=`ps aux|grep elasticsearch | grep -v 'grep elasticsearch' | awk '{print $2}'`
    kill -9 $es_pid
    echo "elasticsearch stopped"
    ;;  
restart)
    es_pid=`ps aux|grep elasticsearch | grep -v 'grep elasticsearch' | awk '{print $2}'`
    kill -9 $es_pid
    echo "elasticsearch stopped"
	cd /usr/local/elasticsearch
    chown -R elk:elk elasticsearch-6.3.2/
    sysctl -w vm.max_map_count=262144
    sysctl -a | grep "vm.max_map_count"
    su elk<<!
    cd /usr/local/elasticsearch/elasticsearch-6.3.2
    ./bin/elasticsearch
!
    echo "elasticsearch startup"
    ;;  
*)
    echo "start|stop|restart"
    ;;  
esac

exit $?

 

（2）修改执行权限

[root@localhost init.d]# chmod +x elasticsearch

（3）增加elasticsearch服务到系统服务中

[root@localhost init.d]# chkconfig --add elasticsearch

(4)设置开机启动elasticsearch服务

[root@localhost init.d]# chkconfig elasticsearch on

(5)自动重启测试

[root@localhost init.d]# reboot

Connection closed by foreign host.

Disconnected from remote host(192.168.126.139) at 11:59:21.

Type `help' to learn how to use Xshell prompt.

[root@localhost ~]# jps

 

Elasticsearch-head插件安装

参考：

https://blog.csdn.net/weixin_40898389/article/details/82776682

在安装elasticsearch—head插件首先需要安装node。

1.在线下载node-v8.11.2-linux-x64.tar.xz

[root@localhost node]# wget https://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xz

2.解压node-v8.11.2-linux-x64.tar.xz

[root@localhost node]# xz -d node-v8.11.2-linux-x64.tar.xz

第一步解压之后如下所示：

 

 [root@localhost node]# tar -xvf node-v8.11.2-linux-x64.tar

 

3.创建软连接

[root@localhost node]# ln -s /usr/local/node/node-v8.11.2-linux-x64/bin/node /usr/local/bin/node

[root@localhost node]# ln -s /usr/local/node/node-v8.11.2-linux-x64/bin/npm /usr/local/bin/npm

4.验证

[root@localhost node]# node –v

出现如下所示表示安装node成功

 

5. 使用git安装elasticsearch-head

[root@localhost 20190903]# yum install -y epel git

[root@localhost 20190903]# yum install -y npm

[root@localhost 20190903]#git clone git://github.com/mobz/elasticsearch-head.git

[root@localhost 20190903]# cd elasticsearch-head

//设定nodejs安装软件的代理服务器

[root@localhostelasticsearch-head]# npm config set registry https://registry.npm.taobao.org

[root@localhost elasticsearch-head]# npm install

 [root@localhost elasticsearch-head]# npm run start

> elasticsearch-head@0.0.0 start /usr/20190903/elasticsearch-head

> grunt server

>> Local Npm module "grunt-contrib-jasmine" not found. Is it installed?

(node:35271) ExperimentalWarning: The http2 module is an experimental API.

 

Running "connect:server" (connect) task

Waiting forever...

Started connect web server on http://localhost:9100

 

6.验证在浏览器输入

http://192.168.126.139:9100/

 

搭建Logstash

Logstash安装

1.下载安装包logstash-6.3.2.tar.gz

[root@localhost 20190903]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz

2.解压安装包logstash-6.3.2.tar.gz

[root@localhost 20190903]# tar -zxvf logstash-6.3.2.tar.gz -C /usr/local/logstash/

3.进入解压后的bin目录

[root@localhost 20190903]#cd /usr/local/logstash/logstash-6.3.2/bin

4. 编写配置文件

这个文件不存在需要重新创建。

 [root@localhost bin]# vim logstash.conf

 

input {
  beats {
    port => 5044
  }
     kafka {
        bootstrap_servers => ["192.168.126.139:9092"]
        group_id => "test-consumer-group"
        auto_offset_reset => "latest"
        consumer_threads => 5
        decorate_events => true
        topics => ["user_consumer"]
        type => "bhy"
     }

}
output {
  elasticsearch {
    hosts => ["http://192.168.126.139:9200"]
    index => "memberservice-%{+YYYY.MM.dd}"
  }
}

 

5.启动logstash

[root@localhost bin]# ./logstash -f logstash.conf

如下图所示表示开启lostash成功

6.创建一个软连接，每次执行命令的时候不用在写安装路劲（默认安装在/usr/local下）

[root@localhost bin]# ln -s /usr/local/logstash/logstash-6.3.2/bin/logstash /usr/local/bin/

执行logstash的命令

 

 

[root@localhost bin]# logstash -e 'input { stdin { } } output { stdout {} }'

7.验证是logstash是否启动

[root@localhost ~]# ps -ef|grep logstash

 

 

开机自启动配置

1.在目录/etc/init.d中创建logstash服务

[root@localhost init.d]# vi logstash

#!/bin/sh
#chkconfig: - 85 15
#description: logstash
#author: fab
 

#logstash安装目录
logstash_HOME=/usr/local/logstash/logstash-6.3.2
export logstash_HOME

case "$1" in
start)
	cd $RABBIT_HOME/bin
    logstash -f logstash.conf
!
    echo "logstash startup"
    ;;  
stop)
    es_pid=`ps aux|grep logstash | grep -v 'grep logstash' | awk '{print $2}'`
    kill -9 $es_pid
    echo "logstash stopped"
    ;;  
restart)
    cd $RABBIT_HOME/bin
    logstash -f logstash.conf
!
    echo "logstash startup"
    ;;  
*)
    echo "start|stop|restart"
    ;;  
esac

exit $?

 

2.修改kibana可执行权限

[root@localhost init.d]# chmod +x logstash

3.将kibana服务添加系统服务中

[root@localhost init.d]# chkconfig --add logstash

4.设置开机启动kibana服务

[root@localhost init.d]# chkconfig logstash on

5.查看是否设置成功

 [root@localhost init.d]# chkconfig --list logstash

注意：该输出结果只显示 SysV 服务，并不包含原生 systemd 服务。SysV 配置数据可能被原生 systemd 配置覆盖。

      如果您想列出 systemd 服务,请执行 'systemctl list-unit-files'。

      欲查看对特定 target 启用的服务请执行

      'systemctl list-dependencies [target]'。

 

logstash               0:关 1:关 2:开 3:开 4:开 5:开 6:关

6.开机测试

[root@localhost init.d]# reboot

[root@localhost bin]# ps -elf|grep logstash

 

搭建Kibana

Kibana

1.下载安装包kibana-6.3.2-linux-x86_64.tar.gz

 [root@localhost 20190903]#wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz

2.解压kibana-6.3.2-linux-x86_64.tar.gz

[root@localhost 20190903]# tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz -C /usr/local/kibana/

3.进入解压后的目录

[root@localhost 20190903]# cd /usr/local/kibana/ kibana-6.3.2-linux-x86_64/

4.修改配置文件kibana.yml

[root@localhost kibana-6.3.2-linux-x86_64]# cd config/

[root@localhost config]# vi kibana.yml

 

修改成自己的Elasticsearch的IP地址。

5.启动Kibana

[root@localhost kibana-6.3.2-linux-x86_64]# cd bin

后台启动

[root@localhost bin]# ./kibana &

6.验证

[root@localhost bin]# ps -ef|grep kibana

 

 

出现如上图所示的问题：主要是有与Elasticsearch和Kibana的版本不一致导致的。

在启动kibana之后出现如下图所示问题：

 

需要修改kibana的配置文件（/usr/local/kibana/kibana-6.3.2-linux-x86_64/config/kibana.yml）和首先启动Elasticserarch。

 

在上图所示的红色标记的地方修改成自己的elasticserarch的主机地址既可。

在浏览器输入:

http://192.168.126.139:5601/

 

开机自启动配置

1.在目录/etc/init.d中创建kibana服务

[root@localhost init.d]# vi kibana

脚本如下所示：

#!/bin/sh
#chkconfig: - 85 15
#description: kibana
#author: fab
 

#kibana安装目录
KIBANA_HOME=/usr/local/kibana/kibana-6.3.2-linux-x86_64
export KIBANA_HOME

case "$1" in
start)
	cd $RABBIT_HOME/bin
    kibana
!
    echo "kibana startup"
    ;;  
stop)
    es_pid=`ps aux|grep kibana | grep -v 'grep kibana' | awk '{print $2}'`
    kill -9 $es_pid
    echo "kibana stopped"
    ;;  
restart)
    cd $RABBIT_HOME/bin
    kibana
!
    echo "kibana startup"
    ;;  
*)
    echo "start|stop|restart"
    ;;  
esac

exit $?

 

2.修改kibana可执行权限

[root@localhost init.d]# chmod +x kibana

3.将kibana服务添加系统服务中

[root@localhost init.d]# chkconfig --add kibana

4.设置开机启动kibana服务

[root@localhost init.d]# chkconfig kibana on

5.查看是否设置成功

 [root@localhost init.d]# chkconfig --list kibana

注意：该输出结果只显示 SysV 服务，并不包含原生 systemd 服务。SysV 配置数据可能被原生 systemd 配置覆盖。

      如果您想列出 systemd 服务,请执行 'systemctl list-unit-files'。

      欲查看对特定 target 启用的服务请执行

      'systemctl list-dependencies [target]'。

 

kibana           0:关 1:关 2:开 3:开 4:开 5:开 6:关

6.开机测试

[root@localhost init.d]# reboot

[root@localhost bin]# ps -elf|grep kibana

 

搭建kafka

由于kafka依赖于zookeeper所以应首先安装zookeeper。

Zk安装

1.下载zk

从官网下载：

http://apache.mirror.colo-serv.net/zookeeper/zookeeper-3.4.14/

2.创建zk安装目录

[root@localhost local]# mkdir zk

3.解压zookeeper-3.4.14

[root@localhost 20190903]# tar -zxvf /usr/20190903/zookeeper-3.4.14.tar.gz -C /usr/local/zk

4.修改配置文件

（1）在zk的安装目录下创建2个文件，一个data，一个logs

[root@localhost zk]# mkdir data

[root@localhost zk]# mkdir logs

(2)备份配置文件

[root@localhost conf]# cp zoo_sample.cfg zoo_sample.cfg.bak

[root@localhost conf]# mv  zoo_sample.cfg zoo.cfg

(3)修改配置文件如下图红色部分所示

#指定zk存放数据文件夹的目录为

 

dataDir=/usr/local/zk/data

#指定zk存放日志文件夹的目录为

dataLogDir=/usr/local/zk/logs

5.设置zk自动重启

(1)改系统环境变量，把zk的启动命令加入到系统环境变量中

[root@localhost conf]# vim /etc/profile

 

(2) 使profile配置生效

[root@localhost conf]# source  /etc/profile

6.启动zk

[root@localhost zk]# zkserver.sh start

 

此时，即表明zk已经成功启动。

我们还可以使用zkServer.sh status命令来查看zk的运行状态。

 

Kafka安装

Kafka安装

1.下载kafka安装包

 [root@localhost 20190903]# wget http://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz

2.创建kafka安装目录

[root@localhost local]# mkdir kafka

3.解压安装包

[root@localhost 20190903]#tar -zxvf /usr/20190903/kafka_2.11-2.1.0.tgz -C /usr/local/kafka

4. 在kafka安装目录下创建一个目录kafka-logs用于kafka存放文件

[root@localhost kafka]# mkdir kafka-logs

5. 修改kafka配置

（1）修改server.properties配置文件

 

修改zk连接地址

 

修改日志位置

 

6.启动kafka

 [root@localhost bin]# ./kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.1.0/config/server.properties

使用jps命令检查是否启动成功，如图表示启动成功：

 

7.通过Logstach测试Kafka

 

 

开机自启动配置

1.在目录/etc/init.d中创建kafka服务

[root@localhost init.d]# vi kafka

脚本如下所示：

#!/bin/sh
#
# chkconfig: 345 99 01
# description: Kafka
#
# File : Kafka
#
# Description: Starts and stops the Kafka server
#


KAFKA_HOME=/usr/local/kafka/kafka_2.11-2.1.0
export KAFKA_HOME
# See how we were called.
case "$1" in

  start)
    echo "Starting Kafka:"
	cd $KAFKA_HOME/bin
	./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
    ;;

  stop)
    echo "Stopping Kafka: "
	es_pid=`ps aux|grep kafka | grep -v 'grep kafka' | awk '{print $2}'`
    kill -9 $es_pid
    ;;  
  restart)
    echo "restart Kafka: " 
	cd $KAFKA_HOME/bin
	./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
    ;;
  *)
    echo "Usage: cassandra {start|stop|restart}"
    ;;

esac

 

2.修改kafka服务可执行权限

[root@localhost init.d]# chmod +x kafka

3.将kafka服务添加系统服务中

[root@localhost init.d]# chkconfig --add kafka

4.设置开机启动kafka服务

[root@localhost init.d]# chkconfig kafka on

5.查看是否设置成功

 [root@localhost init.d]# chkconfig --list kafka

注意：该输出结果只显示 SysV 服务，并不包含原生 systemd 服务。SysV 配置数据可能被原生 systemd 配置覆盖。

      如果您想列出 systemd 服务,请执行 'systemctl list-unit-files'。

      欲查看对特定 target 启用的服务请执行

      'systemctl list-dependencies [target]'。

 

kafka             0:关 1:关 2:开 3:开 4:开 5:开 6:关

6.开机测试

[root@localhost init.d]# reboot

[root@localhost bin]# ps -elf|grep kafka

 

 

 

验证SpringBoot+ELK+Kafka

 

修改Logstach配置文件

在Logstach中创建的/usr/local/logstash/logstash-6.3.2/bin目录下创建logstash.conf配置文件

input {
  beats {
    port => 5044
  }
     kafka {
        bootstrap_servers => ["192.168.126.139:9092"]
        group_id => "test-consumer-group"
        auto_offset_reset => "latest"
        consumer_threads => 5
        decorate_events => true
        topics => ["user_consumer"]
        type => "bhy"
     }

}
output {
  elasticsearch {
    hosts => ["http://192.168.126.139:9200"]
    index => "memberservice-%{+YYYY.MM.dd}"
  }
}

 

 

创建Springboot项目

 (1) 创建Springboot项目，添加web以及Kafka依赖

<dependencies>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.kafka</groupId>

            <artifactId>spring-kafka</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

</dependencies>

（2）修改yml文件

spring:

  kafka:

    producer:

      bootstrap-servers: 192.168.126.139:9092

      key-serializer: org.apache.kafka.common.serialization.StringSerializer

      value-serializer: org.apache.kafka.common.serialization.StringSerializer

(3)编写控制类,实现消息的发送

@RestController

public class KafkaController {

 

    @Resource

    private KafkaTemplate<String, String> kafkaTemplate;

 

    @RequestMapping("/sendMsgToKafka")

    public String sendMsgToKafka() {

            kafkaTemplate.send("user_consumer", "dm", "hello,kafka!---->");

        return "发送消息到Kafka完毕";

    }

 

}

 

启动

启动Elasticsearch、启动Kibana、启动Logstash、启动Springboot项目。

验证

ES中显示：

工程中显示：

Kibana中显示：

 

 

 

 

 

想你的夜713
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spring Boot+ELK+Kafka
qq_40664795的博客
04-15 660
分布式日志问题 1.分布式系统日志 （1）分布多 （2）追踪难 2.处理方式 （1）日志收集 （2）可视化 3.常见日志解决方案 （1）ELK+Kafka （2） 第三方 Elatsicsearch 1.分布式搜索引擎 2.特性 （1）分布式实时全文搜索引擎 （2）分布式实时分析搜索引擎 （3）分布式实时大数据处理引擎 Kibana 1. Elastic Stack 成员 2.数据分析和可视化...
SpringBoot+Kafka+ELK 完成海量日志收集（超详细）
JAVA葵花宝典
08-17 214
点击关注公众号，实用技术文章及时了解来源：jiandansuifeng.blog.csdn.net/article/details/107361190整体流程大概如下：服务器准备在这先列出...
SpringBoot+Kafka+ELK
qq_24692021的博客
11-26 350
整体流程大概如下： 服务器准备 在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容 SpringBoot项目准备 引入log4j2替换SpringBoot默认log，demo项目结构如下： pom <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spri...
SpringBoot+kafka+ELK分布式日志收集
weixin_34327223的博客
09-25 1848
一、背景 随着业务复杂度的提升以及微服务的兴起，传统单一项目会被按照业务规则进行垂直拆分，另外为了防止单点故障我们也会将重要的服务模块进行集群部署，通过负载均衡进行服务的调用。那么随着节点的增多，各个服务的日志也会散落在各个服务器上。这对于我们进行日志分析带来了巨大的挑战，总不能一台一台的登录去下载日志吧。那么我们需要一种收集日志的工具将散落在各个服务器...
SpringBoot + Kafka + ELK 完成海量日志收集（超详细）
良月柒
10-12 414
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 8 分钟。来自：https://blog.csdn.net/lt326030434/article/details/1...
elk+springboot+kafka日志跟踪配置1
08-08
ELK+SringBoot+Kafka 日志跟踪配置详解 ELK（Elasticsearch、Logstash、Kibana）是一款流行的日志分析平台，SpringBoot 是一个流行的 Java 框架，Kafka 是一个流行的消息队列系统。本文将详细介绍如何将 SpringBoot...
Java毕业设计 基于SpringBoot+Vue+普罗米修斯+ELK的基础平台监控系统+部署文档+全部资料（高分项目）
最新发布
05-07
Java毕业设计 基于SpringBoot+Vue+Prometheus+ELK的基础平台监控系统+部署文档+全部资料（高分项目）Java毕业设计 基于SpringBoot+Vue+Prometheus+ELK的基础平台监控系统+部署文档+全部资料（高分项目） 【备注】 1...
基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.docx
07-11
基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.docx基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.docx基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.docx基于SpringBoot+Dubbo...
基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.pdf
07-04
基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.pdf基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.pdf基于SpringBoot+Dubbo+React+ELK+区块链的阿梨房屋中介系统.pdf基于SpringBoot+Dubbo+...
详解SpringBoot+Dubbo集成ELK实战
08-25
SpringBoot+Dubbo集成ELK实战 本资源主要介绍了如何使用 SpringBoot 和 Dubbo 集成 ELK（Elastic Stack）来实现日志管理。ELK 是一个开源的日志管理解决方案，包括 Beats、Logstash、Elasticsearch 和 Kibana 四个...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
从Kafka中批量拉去数据，然后批量更新到es里。一次拉取的数量可以设置，现在是10000，轻松运转，更新到es内部也是，目标是百万日志秒处理
debj_SpringBoot_ELK+Kafka_resources.zip
06-24
SpringBoot 整合 ELK+Kafka 所需镜像及 docker-compose.yml 集合打包，用于提供某篇文章中所提及的 Ubuntu 镜像资源
用SpringBoot+Kafka+ELK轻松完成海量日志收集
jjc4261的博客
07-13 437
整体流程大概如下：服务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pom<dependencies>&nbsp;&nbsp;&nbsp;&nbsp;<dependency>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp
SpringBoot+Kafka+ELK 完成海量日志收集
qq_41466440的博客
09-10 108
整体流程大概如下： 服务器准备 在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容 SpringBoot项目准备 引入log4j2替换SpringBoot默认log，demo项目结构如下： pom <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spri...
【ELK框架系列】SpringBoot+Kafka+ELK集成日志采集可视化框架
热门推荐
Yangy的博客
11-28 2万+
目录 1.前言 2.实践代码（以下操作都在WIN7系统） 2.1环境背景 2.2环境搭建 2.2.1启动zookeeper（因为kafka依赖zookeeper） 2.2.2启动kafka 2.2.3启动elasticsearch 2.2.4启动logstash 2.2.5启动kibana 2.2....
springboot+elk 链路追踪
09-28
在Spring Boot中使用ELK（Elasticsearch、Logstash和Kibana）进行链路追踪，可以通过收集和展示日志信息来跟踪请求的流程和性能。具体配置步骤如下： 1. 首先，进入Kibana的管理界面，根据需求调整日志的生命周期...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值