Elasticsearch同步数据库-Logstash（windows环境，linux环境大同小异）

（一）安装elasticsearch（略）

（二）安装head进行查看（略）

（三）logstash的安装配置

（1）安装logstash

         下载地址  选择下载你对应的es的logstash版本，解压

（2）安装logstash-input-jdbc（连接数据库的）

          进入解压后的bin目录，执行：logstash-plugin.bat install logstash-input-jdbc

（3）进行数据同步

          Logstash 配置，bin下新建logstash.conf

input {
jdbc {
        #数据库配置
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC"
        jdbc_user => "root"
        jdbc_password => "root"
        #驱动包
        jdbc_driver_library => "D:\soft\logstash-6.5.4\lib\mysql-connector-java-8.0.13.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        schedule => "* * * * *"
        #sql语句
		statement => "SELECT * from user"
        type => "jdbc"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
}
    #过滤字段
	mutate {
		remove_field => ["@version","@timestamp"]
    }
}

output {
    #es配置
    elasticsearch {
        hosts => ["es地址"]
        index => "user"
        document_type => "user"
        #以数据库的哪个字段作为es的id
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

（4）启动logstash

         进入bin目录执行        logstash.bat -f logstash.conf

（5）进入head查看数据

 

多表同步：需要在input标签内写多个jdbc 标签，根据里面不同的sql语句进行查询数据，output标签内需要写：if[type]==“input标签内的type”进行判断对应的读取到的数据进行写入es。