使用logstash全量同步MySQL到ElasticSearch

最新推荐文章于 2024-05-23 13:50:35 发布

不会飞的冬节鸽

最新推荐文章于 2024-05-23 13:50:35 发布

阅读量552

点赞数 2

分类专栏：数据同步文章标签： MYSQL数据同步 ES Logstash

本文链接：https://blog.csdn.net/qq_26015489/article/details/101029221

版权

本文介绍如何使用Logstash实现MySQL数据全量同步到ElasticSearch。主要步骤包括下载配置ES和Logstash，获取mysql-connector-java jar包，创建logstash配置文件和SQL文件。配置文件中，input和output部分根据表数量进行调整，type字段需保持一致。

摘要由CSDN通过智能技术生成

上一篇文章我们讨论了ELK框架日志系统的搭建，这次我们通过Logstash和ES实现MySQL数据全量增量同步。

MySQL数据同步与日志同步唯一不同的地方在于logstash配置文件的不同而已，下面我们开始介绍详细配置过程：

一、下载和配置ES和logstash，详细请参考上一篇文章

二、下载mysql-connector-java的jar包

大家可根据自己的mysql版本下载对应的包（Maven包下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java）

三、创建logstash配置文件和sql文件

在Logstash的bin 目录下创建jdbc.conf配置文件，文件内容如下：

input {
   stdin {
   }
   jdbc {
   	   # mysql数据库链接
       jdbc_connection_string => "jdbc:mysql://192.168.1.143:3306/icbc-ccpm_0?characterEncoding=UTF-8&autoReconnect=true&useSSL=false"
       jdbc_user => "root"
       jdbc_password => "P@ssw