elk之使用logstash同步mysql数据到elasticsearch(aws es)

./bin/logstash-plugin install logstash-output-amazon_es

./bin/logstash-plugin install logstash-input-jdbc

tar -zxvf mysql-connector-java-8.0.16.tar.gz 

mysql.conf 
input {
  jdbc {
    jdbc_driver_library => "/home/elk/mysql-connector-java-8.0.16.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.3.92:3306/plus"
jdbc_default_timezone => "UTC"
    jdbc_user => "root"
    jdbc_password => "111111"
    schedule => "* * * * *"
use_column_value => true
    statement => "SELECT * from tablename where updated_at>=:sql_last_value"
    tracking_column => "updated_at"
    tracking_column_type => "timestamp"
    jdbc_fetch_size => 10
    type => "sns_feeds"
  }
}
filter {
    mutate {
        remove_field => [ "@timestamp" ]
    }
}
output{
    stdout { }
    elasticsearch {
        hosts => "https://aws_domain:443"
    index => "%{type}"
document_id => "%{id}"
        ssl => true
    }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值