elk日志收集系统

目录

前言

一、概述

二、案例

（一）、环境配置

安装node1与node2节点的elasticsearch

node1的elasticsearch-head插件

（二）、node1服务器安装logstash

测试1： 标准输入与输出

测试2：使用rubydebug解码

测试3：输出到elasticsearch

（三）、node1节点安装kibana

（四）、企业案例

总结

---

---

前言

日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。

如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

---

一、概述

ELK由三个组件构成

elasticsearch	日志分析
logstash	日志收集
kibana	日志可视化

elasticsearch	是一种开源的日志收集、分析、存储程序
具有以下特点	分布式
	零配置
	自动发现
	索引自动分片
	索引副本机制
	Restful风格接口
	多数据源
	自动搜索负载

logstash	搜集、分析、过滤日志的工具
工作过程	Inputs → Filters → Outputs
	输入-->过滤-->输出

一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
    

kibana，日志可视化。

为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

   

二、案例

192.168.238.145（httpd）

192.168.238.146（node1）

192.168.238.147（node2）

注意：node服务器建议给4G内存4G处理器，否则elasticsearch可能服务端口启动异常，因为elasticsearch服务器会占用大量的内存，内存会不足。

安装好elasticsearch服务器后记得daemon-reload加载system的配置文件,否则可能导致服务访问异常，集群id不同，后续将无法操作。

node1与node2节点要有Java环境，Java -version查看版本（1.8.0即可），没有要安装Java环境

Yum install -y java-1.8.0-openjdk

（一）、环境配置

node1与node2修改主机名，本地host文件。