logstash+jdbc数据同步+head展示问题

遇到问题

  • head UI只展示一条数据,索引过滤不了
    - 原因: document_id => “%{user_id}” 中user_id 参考教程未改
    - 解决:根据自己的主键改成对象的%{自己表的主键}
    - 后续:如果是多个表同步怎么办?
  • 同步时sql_last_value 一直是0,查看logstash_jdbc_last_run也确实为0
    - 原因: use_column_value=> false 是默认值,参照教程却给设置成了true
    - 解决: 屏蔽use_column_value=> true
  • 示例同步文件:
input{
         jdbc {
            # jdbc_driver_library => "mysql-connector-java-5.1.44-bin.jar"
    	# 驱动
             jdbc_driver_library => "/usr/local/soft/logstash-input-jdbc-master/lib/mysqljdbc-5.1.18.jar"
             jdbc_driver_class => "com.mysql.jdbc.Driver"
             jdbc_connection_string => "jdbc:mysql://172.16.0.178:3308/mtp_dev"
             jdbc_user => "mtp_dev"
             jdbc_password => "mtp_dev"
             jdbc_paging_enabled => "true"
             jdbc_page_size => "1000"
             jdbc_default_timezone =>"Asia/Shanghai"
             schedule => "* * * * *"
             statement => "SELECT * FROM user_sys_user where latest_time > :sql_last_value"
    	# record_last_run => true
            # use_column_value=> false
             tracking_column => "latest_time"
             last_run_metadata_path => "./logstash_jdbc_last_run"
             clean_run => "false"
           } 
    } 
    output{
          elasticsearch {
             hosts => "172.16.0.94:9200"
             user => "elastic"
             password => "changme"
             index => "sys_user"
             document_id => "%{user_id}"
          }
          stdout {
             codec => json_lines
         }
     } 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值