ES同步MySQL数据

一、准备工作

    logstash的下载地址:https://www.elastic.co/cn/products/logstash

    mysql 的java 驱动包:mysql-connector-java-5.1.44-bin.jar

二、安装及修改配置

    下载完成后解压,在config目录下创建【mysql.conf】文件(文件名随意,启动命令对应即可)

    文件内容如下:

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
        jdbc_user => "root"
        jdbc_password => "root"
        jdbc_driver_library => "D:/es/logstash/mysql-connector-java-5.1.44-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        statement => "SELECT * FROM sys_user"
        schedule => "* * * * *"
    }
 }
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "user"
        document_type => "userinfo"
        document_id => "%{id}"
    }
}

    注释:

input {
 stdin { }
    jdbc {
        //连接MySQL数据库地址
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
        //账号
        jdbc_user => "root"
        //密码
        jdbc_password => "root"
        //MySQL数据库驱动路径
        jdbc_driver_library => "D:/es/logstash/mysql-connector-java-5.1.44-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        //查询语句
        statement => "SELECT * FROM sys_user"
        //定时扫描时间
        schedule => "* * * * *"
    }
 }
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        //连接es地址
        hosts => "localhost:9200"
        //同步数据到索引的index
        index => "user"
        //type
        document_type => "userinfo"
        //主键字段
        document_id => "%{id}"
    }
}

三、启动

    配置好后,打开cmd窗口,敲入启动命令:bin\logstash.bat -f config\mysql.conf

    如果找不到文件,请检查命令路径,以及文件名称

 

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值