logstash同步mysql到

最新推荐文章于 2024-06-17 23:05:28 发布

大油油

最新推荐文章于 2024-06-17 23:05:28 发布

阅读量241

点赞数

本文链接：https://blog.csdn.net/dark868/article/details/102865953

版权

前提已经装好了 logstash-6.5.4 （下载解压到usr/local/下，免安装）

上传 mysql-connector-java-5.1.6.jar 到 /usr/local/logstash-6.5.4/bin

在bin下创建文件 mysql-logstash.conf

input {
 stdin { }
    jdbc {
        #需要同步的数据库
        jdbc_connection_string => "jdbc:mysql://192.168.0.109:3306/cjf"

        jdbc_user => "root"

        jdbc_password => "1234"
        #本地jar包
        jdbc_driver_library => "mysql-connector-java-5.1.6.jar"

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        jdbc_paging_enabled => "true"

        jdbc_page_size => "50000"
        #获取到记录的SQL查询语句
        statement => "SELECT * FROM AREAS"
        #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
        schedule => "* * * * *"
    }
 }

 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        #ESIP地址与端口
        hosts => "192.168.20.7:9200"
        #ES索引名称（自己定义的）
        index => "cjfmysql"
        #文档类型 ,对应mysql表名
        document_type => "areas"
        #文档类型id，%{category_id}意思是取查询出来的category_id的值，并将其映射到es中_id字段中
        document_id => "%{id}"
    }
}

然后在bin目录下使用./logstash -f mysql-logstash.conf启动logstash

稍等一会可以看到控制台会打印数据库查到的数据的相关信息，则数据同步成功

kibana下核实：

GET /cjfmysql/_search
{
"query": {
"match_all": {}
}
}