WINDOWS系统,ELK 框架搭建,6.5.4版本

1:到官网下载 elasticsearch 6.5.4 版本

2:到官网下载 logstash 6.5.4 版本

3:到官网下载 kibana 6.5.4 版本

4:启动elasticsearch.bat 

5:配置kibana 文件,连接es,之后启动kibana 

6:访问Kiban http://localhost:5601/  即可看到es中全部索引

7:配置logstah ,在logstash 中bin文件下建 logstash.conf 文件(名称自定义),内容如下,此配置是将ORACLE数据库中的数据通过logstash 导入到es中,通过kibana界面化显示数据。

input {
  stdin {
  }
  jdbc {
    jdbc_connection_string => "jdbc:oracle:thin:@localhost:1521:test"
    jdbc_user => "test"
    jdbc_password => "test"
    jdbc_driver_library => "D:\.m2\repository\com\oracle\ojdbc6\11.2.0.3\ojdbc6-11.2.0.3.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
    statement_filepath => "D:\chromedownload\logstash-6.5.4\bin\oracle.sql"
    schedule => "* * * * *"
    type => "tstype"
  }
}
 
  
filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
    date {
        match => ["timestamp","dd/MM/yyyy:HH:mm:ss Z"]
    }
}
  
output {  
    elasticsearch { hosts => ["localhost:9200"]
                    index => "test"
                    document_type =>"test"}
    
    stdout { codec => json_lines } 
}

8:cmd 到bin 路径下,启动logstash 指定配置文件,logstash.bat -f .\logstash.conf即可

9:配置读取文件数据存到es,配置如下:


input {
    file{
        path => "D:/temp/*.xlsx"
        start_position => beginning
        codec=>plain{
            charset=>"UTF-8"
        }
    }
 }  
  
filter {
    grok {
        patterns_dir => "patterns.txt"
        match =>{ "message" => "%{DATA:name},%{DATA:person_id},%{DATA:email},%{DATA:tel},%{DATA:adress},%{DATA:from}%{S}" }
        }
    mutate{
        remove_field => ["host","path","message","@timestamp","@version"]
}
}
  
output {  
    elasticsearch { hosts => ["localhost:9200"]
                    index => "filedemo"
                    document_type =>"filedemo"}
    
    stdout { codec => rubydebug } 
}
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值