logstash安装

Logstash介绍

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsearch）

下载Logstash 我的是 7.3.0

https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.zip

解压后安装logstash-input-jdbc插件
 

bin/logstash-plugin install logstash-input-jdbc

bin目录下新建mysql

上传MySQL驱动jar报到mysql目录下

首先配置jdbc.conf

vim jdbc.conf

input {
    stdin {
    }
    jdbc {
      # mysql 数据库链接,test为数据库名
      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/dianping"
      # 用户名和密码
      jdbc_user => "root"
      jdbc_password => "root"
      # 驱动
      jdbc_driver_library => "/Users/hzllb/Documents/java/logstash/logstash-7.3.0/bin/mysql/mysql-connector-java-5.1.34.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
    # 执行的sql 文件路径+名称
      statement_filepath => "/Users/hzllb/Documents/java/logstash/logstash-7.3.0/bin/mysql/jdbc.sql"
      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
    }
}

然后编辑jdbc.sql加入全量查询的sql
vim jdbc.sql

启动

./logstash -f mysql/jdbc.conf