分布式日志收集 ELK（elasticsearch + kibanba + logstash）

一、 ELK介绍

ElK，即ElasticSearch+Logstash+Kibana

ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

二、 elasticsearch + kibanba安装启动

参考文章： https://editor.csdn.net/md/?articleId=103623034

三、 logstash 安装

1、下载

下载链接：https://pan.baidu.com/s/1RTx6r5wD0jaT1VUS5MUD_Q
提取码：oplr

2、上传到linux ，/usr/local 目录

3、解压

tar -zxvf logstash-6.4.3.tar.gz

4、在config 目录下创建文件 log.conf （可自定义目录和文件名称）

5、在 usr/local 目录下创建 test.log （实际项目替换为实际项目日志文件地址）

6、log.conf 配置内容

input {
    # 从文件读取日志信息 输送到控制台
    # path 读取的日志位置
    # type 类型，可自定义
    file {
        path => "/usr/local/test.log"  ## 日志文件地址（这里我填写的测试文件）
        codec => "json"                ## 以JSON格式读取日志
        type => "elasticsearch"
        start_position => "beginning"
    }
	
}
 
# filter {
#
# }
 

output {
    # 标准输出 
    # stdout {}
    # 输出进行格式化，采用Ruby库来解析日志   
    stdout { 
        codec => rubydebug 
    }
    elasticsearch {
        hosts => ["192.168.177.128:9200"]    # 输出到es的地址
        index => "es-%{+YYYY.MM.dd}"         # 创建索引名为es-日期
    }	 
}

7、启动 ，bin 目录下

./logstash -f ../config/log.conf   # 使用自己的配置文件启动

启动成功如下

8、 usr/local/ test.log 文件添加内容

控制台监听到修改数据

9、 kibanba 查看

kibanba需启动状态 ， 配置成功输入索引开头会有提示

结果

10、Diseover 查看

添加 es*

11、 elastcisearch+logstash+kibana 后台启动命令记录

elastcisearch+logstash+kibana后台启动命令记录

 ./elasticsearch -d    
 nohup ./kibana &
 nohup  ./logstash -f ../config/log.conf &