Logstash同步mysql数据库到ElasticSearch

最新推荐文章于 2024-09-21 20:27:46 发布

Small_Pang

最新推荐文章于 2024-09-21 20:27:46 发布

阅读量292

点赞数 1

分类专栏： ElasticSearch

本文链接：https://blog.csdn.net/small_pang/article/details/103364224

版权

ElasticSearch 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1、先安装ElasticSearch

可以查看我的上篇文章，内容比较详细：传送门

2、安装同版本的logstash

现在给出我下载的连接：传送门

3、安装解压后，在bin的同目录下创建一个mysql文件夹

4、在mysql文件夹里面放进自己maven仓库里面mysql文件夹下的mysql驱动

名称一般都是mysql-connector-java-***.jar

我在这里使用的是mysql8的

5、因为我们需要在ElasticSearch上面select数据库里面的内容

所以我们在logstash的mysql文件夹下面创建一个find.sql里面的内容为：

select * from user

注意：（user为你自己mysql里面存在的表）

6、创建一个logstash连接数据库和ElasticSearch的jdbc.conf文件

jdbc.conf的内容为：

input {
	stdin{
	}
    jdbc {
      # mysql 数据库链接,center为数据库名
      jdbc_connection_string => "jdbc:mysql://localhost:3306/flower?serverTimezone=UTC"
      # 用户名和密码
      jdbc_user => "root"
      jdbc_password => "123456"
      # 驱动
      # jdbc_driver_library => "G:\logstash\logstash-7.4.2\logstash-7.4.2\mysql\mysql-connector-java-8.0.18.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      # 执行的sql 就是上一步创建的sql文件的绝对路径+文件名字
      statement_filepath => "G:\logstash\logstash-7.4.2\logstash-7.4.2\mysql\find.sql"
      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
      # 索引类型
      type => "flower"
    }
}


filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}


output {
    elasticsearch {
        # ES的IP地址及端口
        hosts => ["localhost:9200"]
        # 索引名称
        index => "user"
        # 自增ID id必须是待查询的数据表的序列字段
        document_id => "%{userid}"
    }
    stdout {
       # JSON格式输出
        codec => json_lines
    }
}