ELK中的logstash之单表同步mysql到ElasticSearch

1.下载安装包：（下载是请注意，logstash的版本最好与elasticsearch一直）

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz

2.解压并移动到 local 目录下

tar -zxvf logstash-6.2.4.tar.gz

mv logstash-6.2.4 /home/logstash/logstash-6.2.4

3.下载mysql-connector-java-5.1.46.jar包，这个自己自行去官网下载上传到config文件下或者自己另起文件夹也可以

4.创建.conf配置文件，文件名自己定义

4.1 进入config目录下

cd config

4.2创建文件

vim 文件.conf

4.3编写.conf文件内容

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://IP地址:3306/数据库名"
  
        jdbc_user => "账号"
 
        jdbc_password => "密码"
        //jar包存放的位置
        jdbc_driver_library => "/home/logstash/logstash-6.2.4/config/mysql-connector-java-5.1.46.jar"
        //mysql直接写这个就可以
        jdbc_driver_class => "com.mysql.jdbc.Driver"
         
        jdbc_paging_enabled => "true"
         
        jdbc_page_size => "50000"

        //sql语句  也有是运行文件的 但是参数不是这个
        statement => "SELECT * FROM task_user"
    }
 }
  
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "ES的IP地址:端口号"
        index => "索引"
        document_type => "user"
        document_id => "%{id}"
    }
}

5.返回根目录启动logstash

cd ..

bin/logstash -f config/文件名.conf

（这里我的.conf是放在config下 所有是config/.conf  这个根据你存放在哪就写哪   不要照着抄）

结果如下：

注:如果中途遇到什么错误，请先用ps -ef|grep logstash查看是否存在logstash进程，存在先kill后运行,另外yml设置文件里面的东西第一次使用先不要改动