Logstash安装及简单使用(同步MySql数据到ES)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u012888052/article/details/81014183
一、安装java环境 略

二、下载logstash

地址:https://www.elastic.co/products/logstash

三、新增/修改配置文件

下载下来后,解压

在安装目录下,创建新的配置文件,命名为:mysqltoes.conf

这个文件名可以换成其他的,启动时脚本命令改成对应的就可以了。

在文件中加入以下内容:

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/db_learn"
  
        jdbc_user => "root"
 
        jdbc_password => ""
 
        jdbc_driver_library => "D:/Program Files/MySQL/mysql-connector-java-5.1.26-bin.jar"
 
        jdbc_driver_class => "com.mysql.jdbc.Driver"
         
        jdbc_paging_enabled => "true"
         
        jdbc_page_size => "50000"
        statement => "SELECT * FROM article_content"
        schedule => "* * * * *"
    }
 }
  
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "article"
        document_type => "content"
        document_id => "%{id}"
    }
}

需要配置好:

数据库地址、数据库账号密码、数据库驱动路径、查询语句、定时扫描时间

es地址、索引、类型、主键字段

配置好后,打开cmd窗口,敲入启动命令:bin\logstash.bat -f config\mysqltoes.conf 如下图所示:


如果找不到文件,请检查命令路径,以及文件名称。

好了,就写到这里,当然还有很多高级的用法,需要慢慢摸索,不然企业中会有很多问题的。

展开阅读全文

没有更多推荐了,返回首页