Logstash安装和使用

1.下载文件

 文件下载要和ElASTICSEARCH,KIBANA 保持版本一致，历史版本下载地址

2.控制台输出到控制台

2.1.在…/logstash-5.3.0/bin/目录中新建一个文件std_std.conf文件

input {
    stdin{
    }
} 

output {
    stdout{
    }
}

2.2 在bin目录执行命令：.\logstash -f std_std.conf 

3.文件输出到Elasticsearch

3.1.在…/logstash-5.3.0/bin/目录中新建一个文件elasticsearach_std.conf文件[名字看着起]

input {
    stdin {
    }
    jdbc {
      # 配置数据库信息
      jdbc_connection_string => "jdbc:mysql://localhost:3306/user_db?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai"
      jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      jdbc_default_timezone => "Asia/Shanghai"
         # mysql驱动所在位置
      jdbc_driver_library => "D:\developmentEnvironment\apache-maven-3.6.3-bin\apache-maven-3.6.3\jarDir\mysql\mysql-connector-java\8.0.20\mysql-connector-java-8.0.20.jar"
      #sql执行语句
      statement => "SELECT * FROM t_user"
      # 定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
      # 是否将 sql 中 column 名称转小写
      lowercase_column_names => false
    }
}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "user_db"
        # Es 中字段用驼峰式，和表中对应起来
        
        document_id => "%{goodsId}"
    }
    stdout {
        codec => json_lines
    }
}

3.2 在bin目录执行命令：logstash  -f  elasticsearach_std.conf -t

3.3启动配置文件

启动logstash，在bin目录命令行窗口里输入： 

logstash -f elasticsearach_std.conf

启动成功之后，logstash会自动连接数据库，并将数据自动导入elasticsearch 中。

注意：导入数据前，先确保elasticsearch 已正常启动。

完成！！！