Elasticsearch数据同步工具 - Logstash

最新推荐文章于 2024-06-27 13:34:32 发布

骨灰级菜鸟-程序猿

最新推荐文章于 2024-06-27 13:34:32 发布

阅读量1.1k

点赞数 1

本文链接：https://blog.csdn.net/xiaoguaihu12/article/details/102457364

版权

本文介绍了如何利用Logstash实现数据库到Elasticsearch的同步，包括基本命令的使用，如通过命令行或配置文件导入数据，以及input和output的设置。按照步骤，解压Logstash，创建配置文件，添加数据源配置，并将MySQL驱动包放入相应目录，最后在确保Elasticsearch已配置好的情况下执行同步操作。

摘要由CSDN通过智能技术生成

Logstash可以实现数据库到es索引库的数据同步操作

基本命令

logstash -e 'input { stdin { } } output { stdout {} }'

-e: 执行, 直接通过命令导数据

-f: 通过配置文件方式倒数据

input: 从哪里读取

stdin: 输入流

output: 输出到哪里

stdout: 输出流

使用:

1. 解压logstash-6.x

2. 在logstash-6.x目录下创建文件夹mysqletc

3. 文件夹下创建mysql.conf

4. 在mysql.conf中添加配置, 当然, 数据源需要改

input {
  jdbc {
    # mysql jdbc connection string to our backup databse  后面的test
对应mysql中的test数据库
    jdbc_connection_string =>
"jdbc:mysql://127.0.0.1:3306/demo_user?characterEncoding=UTF8"
    # the user we wish to excute our statement as
    jdbc_user => "root"
    jdbc_password => "123456"
    # the path to our downloaded jdbc driver  
    jdbc_driver_library => "D:/logstash‐6.x/mysqletc/mysql‐
connector‐java‐5.1.46.jar"
    # the name of the driver class for mysq