ELK -- es + kibana + logstash 读取配置mysql数据增量分析

最新推荐文章于 2023-06-09 15:15:23 发布

404QAQ

最新推荐文章于 2023-06-09 15:15:23 发布

阅读量433

点赞数

分类专栏：笔记文章标签： elasticsearch mysql docker 数据库

本文链接：https://blog.csdn.net/qq_43539962/article/details/117430263

版权

本文介绍了如何使用Logstash从MySQL数据库中读取增量数据，并将其发送到Elasticsearch进行分析。首先，拉取并配置Logstash镜像，将mysql-connector-java-8.0.13.jar添加到指定目录，然后更新Logstash的配置文件。启动Logstash和Docker后，观察数据导入进度，并在Kibana中查看分析结果。

摘要由CSDN通过智能技术生成

es + kibana + logstash 读取配置mysql数据增量分析

logstash镜像拉取
配置
去kibana看数据

ElasticSearch和kibana的docker安装配置上一个笔记有详细安装

链接: ELK – es+kibana+fileBeat读取Nginx日志文件分析

logstash镜像拉取

docker pull  logstash:7.6.2

在这里插入图片描述

配置

先启动镜像

docker run -it -d  logstash:7.6.2

把镜像文件拷贝出来

docker cp 1cb9f3ab35c0:/usr/share/logstash/config /data/docker/logstash
 docker cp 1cb9f3ab35c0:/usr/share/logstash/pipeline /data/docker/logstash

下载mysql-connector-java-8.0.13.jar到 /data/docker/logstash/mysql

在这里插入图片描述

修改config文件

[root@iZuf6gsc80xq4dyg43fqsiZ logstash]# cd config/
[root@iZuf6gsc80xq4dyg43fqsiZ config]# ls
jvm.options  log4j2.properties  logstash-sample.conf  logstash.yml  pipelines.yml  startup.options