elasticsearch之logstash安装并同步数据库数据到es

• logstash安装

         访问https://www.elastic.co/cn/downloads/logstash下载对应es版本的zip包，

    解压zip，进入logstash目录下，在此目录下打开cmd窗口。

    在命令窗口输入如下命令：

logstash -e 'input { stdin { } } output { stdout {} }'

     再输入“hello”，如果结果也是“hello”说明安装成功。

• 同步数据到es

        在logstash的bin目录下新建jdbc.conf文件并输入一下内容：

input {
    stdin {
    }
    jdbc {
      # 数据库地址  端口  数据库名
      jdbc_connection_string => "jdbc:mysql://IP:3306/dbname"
      # 数据库用户名
      jdbc_user => "user"
      # 数据库密码
      jdbc_password => "pass"
      # mysql java驱动地址
      jdbc_driver_library => "/home/rzxes/logstash-5.3.1/mysql-connector-java-5.1.17.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "100000"
      # sql 语句文件，也可以直接写SQL，如statement => "select * from table1"
      statement_filepath => "/home/rzxes/logstash-5.3.1/test.sql"
      schedule => "* * * * *"
      type => "jdbc"
    }
}
output {
    stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts  => "192.168.230.150:9200"
        index => "test-1" #索引名称
        document_type => "form" #type名称
        document_id => "%{id}" #id必须是待查询的数据表的序列字段

} }

如果是mysql则需要mysql-connector-java-5.1.17.jar，如果是oracle则需要ojdbc6.jar；

在logstash主目录下cmd输入如下命令即可：

logstash -f jdbc.conf

最后查看数据是否导入es

参考资料：http://www.jaofuan.top/u/detail/4d87dfd8551f4449928d2c6651673ec5

转载于:https://my.oschina.net/u/3734816/blog/2054386