ELK搭建

ELK

一：介绍

ELK平台是一套完整的日志集中处理解决方案，它不是一个单独的服务，是一系列服务，由(Elasticsearch、Logstash、Kibana)组成，完成更强大的用户对日志的查询、排序、统计需求

日志服务器

提高安全性

集中存放日志

缺陷

对日志的分析困难

日志处理步骤

1：将日志进行集中管理

2：将日志进行格式化（logstash）并输出到（elasticsearch）

3：对格式化后的数据进行索引和存储（Elasticsaerch）

4：前端数据的展示（Kibana）

elasticsearch

clasticsearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。

Elasticsearch是用Java开发的，可通过RESTful Web接口，让用户可以通过浏览器与Elasticsearch通信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档

Kibana：一个针对Elasticsearch的开源分析及可视化平台

搜索、查看存储在es索引中的数据

通过各种图表进行高级数据分析及展示

主要功能

整个数据，复杂数据分析

让更多团队成员收益

接口灵活、分享更容易

配置简单，可视化多数据源

简单数据导出

Kibana通常与Elasticsearch一起部署，Kibana是Elasticsearch的一个功能强大的数据可视化Dashboard,Kibana提供图形化的web界面来浏览E1 asticsearch日志数据，可以用来汇总、分析和搜索重要数据。

Logstash:是一款强大的数据处理工具，可实现数据传输、格式处理、格式化输出

数据输入、数据加工（过滤、改写）以及数据输出

主要组成

shipper

lndexer

broker

search and storage

web interface

作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给Elasticsearch

Logstash由Ruby语言编写，运行在Java虚拟机(JvN)上，是一款强大的数据处理工具，
可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。

可以添加的其它组件
Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户湍安装Filebeat,并指定目录与日志格式，Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储，性能上相比运行于JVN上的logstash优势明显，是对它的替代。常应用于EFK架构当中。
filebeat结合1 ogstash带来好处：
1)通过Logstash具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻Elasticsearch持续写入数据的压力

2)从其他数据源（例如数据库，s3对象存储或消息传递队列）中提取

3)将数据发送到多个目的地，例如s3,HDFS(Hadoop分布式文件系统)或写入文件

4)使用条件数据流逻辑组成更复杂的处理管道

缓存/消息队列(redis、kafka、RabbitMQ等)：可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

·Fluentd:是一个流行的开源数据收集器。由于Logstash太重量级的缺点，Logstash性能低、资源消耗比较多等问题，随后就有Fluentd的出现。相比较logstash,Fluentd更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为logstash的一种替代方案，常应用于EFK架构当中。在Kubernetes集群中也常使用EFK作为日志数据收集的方案。

在Kubernetes集群中一般是通过Daemonset来运行Fluentd,以便它在每个Kubernetes工作节点上都可以运行一个Pod.它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到E1 asticsearch集群，在该集群中对其进行索引和存储。

核心概念

接近实时

集群

节点

索引

​ 索引（库）—》类型（表）–》文档（记录）

分片和副本

3、完整日志系统基本特征
收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持UI分析
警告：能够提供错误报告，监控机制
4、ELK的工作原理：
(1)在所有需要收集日志的服务器上部署Logstash:或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署Logstash。
(2)Logstash收集日志，将日志格式化并输出到Elasticsearch群集巾。
(3)Elasticsearch对格式化后的数据进行索引和存储。
(4)Kibana从Es群集中查询数据生成图表，并进行前端数据的展示。
总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

搭建

名称	ip	部署
node1	192.168.64.20	es/kibana
node2	192.168.64.15	es
Apacha	192.168.64.16	logstash

一：环境准备<