ELK日志系统

一、ELK概述

1、ELK概念：

ELK是一套完整的日志集中处理方案，由三个开源的软件的简称组成

E：ElasticSearch 简称ES，是一个开源的，分布式的存储检索引擎（索引型的非关系数据库）。作用就是存储日志。由java代码开发，基于Lucene结构开发的一套全文检索引擎。拥有一个web接口。用户可以通过浏览器的形式和ES组件进行通信。

作用：存储，允许全文搜索结构化搜索（索引点），索引和搜索容量可以支持大容量的日志数据。也可以搜索其他不同类型的文档

K：kiabana 图形化界面。可以更好的分析存储在ES上的日志数据。提供了一个图形化的界面，来浏览ES上的日志数据。汇总、分析、搜索

L：Logstash 数据收集引擎，支持动态的（实时的）从各种服务应用收集日志资源，还可以对收集到的日志数据进行过滤、分析，还可以丰富收集到的日志数据，统一格式等等操作。然后把数据同步到ES存储引擎上。RUBY语言编写，运行在java虚拟机上的一个强大的数据处理工具。数据传输，格式化处理，格式化输出。主要作用就是处理日志

2、其他数据收集工具：

fliebeat：轻量级的开源的，日志收集工具。收集的速度较快，但是没有数据分析和过滤的能力，一般是结合logstash一块使用实现远程数据收集

fliebeat不能对数据进行标准输出，不能输出为es格式的数据，所以需要logstash把fliebeat数据做标准化处理。

 3.实现ELK部署

装10    20

取消同步：10和20一样

10

 

20

 

检查10 20

启动：刷新之后等一下在看端口起没起

谷歌访问10 20

10 20安装head、node、phant三个组件

先安装node10 20同步

装pha  10 20同步

回到opt

 启动

创建数据

 

安装30

装locstash及其依赖环境

托包安装

 ​​​​​​修改配置文件：

 收集文件30

 

报错如何处理

 收集文件

 

Kiabana 部署