Elasticsearch系列（六）--安装Logstash

1.下载Logstash安装包

logstash-6.4.0.tar.gz

2.解压

tar -zxvf logstash-6.4.0.tar.gz -C ../

3.安装logstash-input-jdbc和logstash-output-elasticsearch插件

cd logstash-6.4.0/

安装插件的命令分别是(在Logstash主目录下运行)：

./bin/logstash-plugin install logstash-input-jdbc

./bin/logstash-plugin install logstash-output-elasticsearch

4. 配置Logstash作业文件

Logstash的bin文件夹中创建Logstash作业配置文件，文件名为logstash-mysql-es.conf

注意：这里需要mysql-connector-java-6.0.6.jar包放到某个文件夹下，在logstash-mysql-es.conf配置文件中需要指定。

配置文件内容：

input{

    jdbc {

        jdbc_driver_library => "/bigdata/soft/mysql-connector-java-6.0.6.jar"

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        jdbc_connection_string => "jdbc:mysql://10.18.1*.5*:3306/hzz"

        jdbc_user => "hzz"

        jdbc_password => "Hz***18"

        jdbc_paging_enabled => "true"

        jdbc_page_size => "1000"

        jdbc_default_timezone =>"Asia/Shanghai"

        schedule => "* * * * *"

        statement => "select * from myview"

        use_column_value => true

        tracking_column => "updatetime"

        last_run_metadata_path => "./logstash_jdbc_last_run"

    }

}

output{

    elasticsearch {

        hosts => "192.168.129.130:9200"

        user => ""

        password => ""

        index => "hzz"

        document_id => "%{pk_id}"

    }

    stdout {

        codec => json_lines

    }

}

7. 同步数据

logstash -f logstash-mysql-es.conf

之后每分钟会去MySQL中刷新数据

在mysql表中写入几条测试数据，在es中查看是否同步过去进行验证。

至此，MySQL中的数据已经被成功索引到Elasticsearch，并也可以被准实时的检索到。

可查看es中所有索引的总数：

GET /_cat/indices?v

请关注我微信公众号：