Elastic-logstash使用

最新推荐文章于 2024-09-15 22:20:22 发布

ghx123456ghx

最新推荐文章于 2024-09-15 22:20:22 发布

阅读量223

点赞数

文章标签： elasticsearch

本文链接：https://blog.csdn.net/ghx123456ghx/article/details/105556753

版权

一下载和初步启动

1 根据elasticsearch版本下载对应版本的logstash

下载地址：https://www.elastic.co/cn/downloads/logstash

2 启动：

进入安装目录bin目录下执行cmd：
输入logstash -e “input { stdin { } } output { stdout {}}”
如图
也可以访问http://localhost:9600/ 在这里插入图片描述

3 命令行中常用的命令

-e：后面跟着字符串，该字符串可以被当做logstash的配置（如果是“” 则默认使用stdin作为输入，stdout作为输出）

-f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstash：
/bin/logstash -f /etc/logstash/conf.d/nginx_logstash.conf

4 读取并传输jdbc数据

在H:\66\elasticsearch\elasticChaJian\logstash-7.3.2\bin\logstash_jdbc_test
中创建logstash.conf文件
编辑文件：

input {
  jdbc {
    jdbc_driver_library => "H:\66\elasticsearch\elasticChaJian\logstash-7.3.2\lib\ojdbc14.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    #jdbc_connection_string => "jdbc:oracle:thin:@localhost:1521:orcl"
	jdbc_connection_string => "jdbc:oracle:thin:@10.68.4.65:1521:orcl"
    jdbc_user => "rmdb_new"
	jdbc_password => "rmdb_new"
    parameters => { "Id" => "9" }
    #表示1分钟执行一次，注释掉则只执行一次
    schedule => "* * * * *"
	tracking_column => create_date
	use_column_value => false #为false时，sql_last_value为时间，为true时sql_last_value为tracking_column定义的值
	jdbc_fetch_size => 10000
    #statement => "SELECT * from SYS_USER where Id = :Id and create_date > :sql_last_value"
	statement => "SELECT * from EHR_PIR"
	#statement => "SELECT * from SYS_USER where Id = :Id "
  }
}
output {
 elasticsearch {
        hosts => ["127.0.0.1:9201","127.0.0.1:9202"]
        index => "index_user"
        document_type => "user"
        #以数据库的哪个字段作为es的id
        document_id => "%{id}"
    }


}