Linux学习笔记--ELK日志分析系统

心不骄，气不傲。

我们在工作中，每天面对大量的服务器，对这些服务器维护，其中一个很重要的工作就是查看每台服务器的日志信息，逐一检查浪费时间精力和感情；所以传统方式是搭建日志服务器，将所有服务器的日志收集到日志服务器统一查看。------今天我来说一下 ELK日志分析系统。

日志包含：程序日志 系统日志 安全日志等。
ELK：由 ElasticSearch logstash and kiabana三个开源工具组成。
**ElasticSearch：是个开源分布式实时分析搜索引擎稳定可靠且具有较好的水平扩展能力。为分布式环境设计在云计算中广泛应用；具有（分布式，零配置，自动发现，索引自动分片，自动搜索负载点等特点）。
logstash：是一个完全开源工具，主要用于日志收集，对数据处理并输出给ElasticSearch。它只做三件事情：数据输入，数据加工，数据输出。
kiabana：也是一个开源免费的工具，可以给前两个提供图形化的日志分析web界面，可以汇总分析和搜索重要数据日志。

ELK：进行日志处理分析需要以下几个步骤：
（1）：将日志进行集中化管理；
（2）：将日志格式化（logstash）并输出到ElasticSearch；
（3）：对格式化后的数据进行索引存储（ElasticSearch）；
（4）：前段数据的展示。

总结：
**ELK主要作用：免费开源，预防故障发生，快速定位故障点，减轻工作量。

下面我做一个简单的实验案例来安装部署ELK；
案例环境：

需要关闭防火墙和selinux ；node1节点余2节点分配大于2G内存。
官方网站：http://www.elastic.co/cn
1：先在两个elk节点上配置域名解析，通过本地/etc/hosts文件实现;



2：检查Java环境：


3：再node1 与node2 上部署ElasticSearch软件，（安装方式有两种yum与源码包安装）；

2:加载系统服务：节点1与节点2 同步；

3：更改ElasticSearch主配置文件：（节点2同步除节点名字不同）









4：创建数据存放路径授权：

5：启动ElasticSearch查看是否成功开启：


6：查看节点信息：


接下来在node1 上安装ElasticSearch-head插件：

（1）：编译安装node。安装耗时长大约30分，看电脑配置

（2）：安装phantomjs：（俩节点都是相同操作）


（3）：安装elasticsearch-head插件：俩节点都是相同操作

（4）：修改主配置文件：俩节点都是相同操作

重启服务；

（5）：启动服务。必须在解压后的目录下启动服务

（6）：通过浏览器可以看到群集很健康为绿色，单击可查看索引信息，此时索引为空。


插入索引；

7：logstash安装：
（1）：在node1上部署logstash


使用方法如;






在网页上查看新增加的索引；


修改logstash配置文件，让其收集系统日志并输出到elasticsearch中；






安装kibana;
(1):在node1服务器上安装kibaba，并设置开机启动；

重启服务并设置主配置文件：





开启服务：

验证kibana：


将Apache服务器添加到elasticsearch并通过kibana显示：
安装http的服务（这里不多演示）
在Apache上安装logstash；


编写logstash配置文件Apache——log。conf如下：





完毕！！！