使用Logstash-input-jdbc同步mysql中的数据到es中

1. 准备好es kibana logstash 保证同一版本并可以正常启动
2. logstash 5.x.x版本以上可以直接使用logstash-input-jdbc插件, 不用安装ruby等环境
3. 同步方式可选全量或增量方式, 全量方式每次全部同步, 不太妥当, 我们选择使用增量方式, 增量方式第一次启动时也可以进行全部同步, 后面会说具体配置

Logstash目录结构如下所示, 我们创建一个文件夹mysql用来存放mysql同步所需要的配置等文件

logstash使用jdbc也需要引入jdbc的jar包, jar包下载地址
链接：https://pan.baidu.com/s/1qNkuH2T-Ba-bM1wTNvKydQ
提取码：8a4h
把jar包放入上面创建的mysql文件夹中
在mysql文件夹中创建mysql.conf文件, 这个文件就是logstash启动时运行的配置文件, 所有的参数信息需要放在这里面, 复制时把#后面的注释删除

input {
   
    jdbc {
   
    #数据库连接参数
      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/bd_mgmt"
      # mysql用户名
      jdbc_user => "root"
      # mysql密码
      jdbc_password => "root"
      # 刚才放入文件夹的jar包
      jdbc_driver_library => "/opt/soft/logstash-7.9.1/mysql/mysql-connector-java-5.1.49.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      # 开启分页
      jdbc_paging_enabled => "true"
      # 最大页码
      jdbc_page_size => "50000"
      # 用于同步的查询sql
      statement_filepath => "/opt/soft/logstash-7.9.1/mysql/bdmgmt_baseflight.sql"
      #如果要使用其它字段追踪，而不是用时间开启这个配置
      use_column_value => true
      #设置要追踪的字段
      tracking_column => "updated_dt"
      # 是否记录sql_last_value
      record_last_run => true
      #上一个sql_la