使用logstash 遇到大坑记录下

最新优化网站,想了想使用ec做列表查询,估计速度会提个一倍,但是使用了什么同步数据呢?
经过网上查资料,一顿操作,最总选定了logstash这个软件
下面是配置

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://192.168.1.135:3306/chipsmall_test"
      jdbc_user => "docker"
      jdbc_password => "docker"
      jdbc_driver_library => "/www/mysql-connector-java-8.0.28.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "1"
      use_column_value => "true"
      tracking_column => "update_at"
      #"numeric", "timestamp"
      tracking_column_type => "numeric"
      statement => "select * from snsii_user where update_at > :sql_last_value"
      schedule => "* * * * *"
      last_run_metadata_path => "/www/update_at-es"
    }
}
filter {
    mutate {
        # convert => [ "publish_time", "string" ]
    }

    json {
        source => "message"
        remove_field => ["message"]
    }
}
output {
    elasticsearch {
        hosts => ["http://192.168.1.135:9200"]
        user => "elastic"
        password => "str123456"
        index => "user"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

刚开始用的字段Update_at 发现sql_last_value值一直不跟新,why,why,why?
卡了我一天,后来偶然看到日志,查询出来的数据字段都是小写,改成小写试试?
欧耶!
竟然可以了!
吐槽!!!!!!!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值