ELK日志分析集群部署

前言：ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

一.ELK概述

1.1日志处理步骤

1）将APP servers的日志进行集中化管理到Logstash agent。
2）将日志格式化（Logstash）并输出到Elasticsearch cluster
3）对格式化后的数据进行索引和存储（Elasticsearch）
4）前端数据的展示（Kibana）
5）可以在线查看界面化展示。

1.2ELK组成

• ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。
• Logstash 收集APP server产生的log，然后存放到Elasticsearch集群节点中
• kibana从Elasticsearch集群节点中查询数据生成图表，再返回给Brower。

二.Elasticsearch介绍

2.1Elasticsearch概述

（1）提供了一个分布式多用户能力的全文搜索引擎；
（2）是一个基于Lucene的搜索服务器；（3）基于restful web接口；
（4）使用java开发；
（5）作为apache许可条款下的开放源码发布，是第二流行的企业搜索引擎；
（6）被设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装实用方便的需求。

2.2Elasticsearch的概念

1. 接近实时（NRT）Elasticsearch是一个接近即时的搜索平台，从索引一个文档知道这个文档能够被搜索到的过程中有一个轻微的延迟（通常是1秒）

2. 集群(cluster)由一个及其以上的节点组织在一起，它们共同持有整个数据，并一起提供索引和搜索功能，其中一个节点为主节点，这个节点是可以通过选举产生，并提供跨节点的联合索引和搜索的功能，集群有一个唯一标识的名字，默认是elaticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中。因此，要确保集群的唯一性，在不同环境中使用不同的集群名字，一个集群只可以有一个节点，建议在配置elasticsearch时，配置成集群模式。

3. 节点（node）节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能，像集群一样，节点之间可是通过名字来标识区分，默认是在节点启动时随机分配的字符名。当然，你可以自己定义，该名字很重要，起到在集群中定位到对应的节点。节点可以通过指定集群名字来加入到集群中，默认情况下，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能够自动发现对方，他们将会自动组建一个名为elastisearch的集群。

4. 索引（index）一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引、一个产品目录的索引、还有一个订单数据的索引。一个索引用一个名字来标识（必须全部是小写字母组合），并且当我们要对相应的索引中的文档进行索引、收缩、更新和删除的时候，都要用到这个名字。在一个集群中，可以定义多个索引。（索引相对于关系型数据库的库）

5. 类型（type）在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类分区，其寓意完全由你来定义。通常，会为具有一组共同字段的文档定义一个类型。比如：我们假设运营一个博客平台并且将所有的数据存储到一个索引中，在这个索引中，你可以为用户数据定义一个类型，为博客数据定义一个类型，也可以为评论数据定义另一个类型。（类型相对于关系型数据库的表）

6. 文档（Document）一个文档是一个可被索引的基础信息单元。比如：你可以拥有一个客户的文档，某一个产品的文档；文档以JSON（Javascript Object Notation）格式来表示，json是一个通用的互联网数据交互模式。在一个index/type内，你可以存储任意多的文档。注意：虽然一个文档在物理上位于一个索引内，但是实际上一个文档必须在一个索引内可以被索引和分配一个类型。（文档相对于关系型数据库的列）

7. 分片和副本 （shards & replicas）在实际情况下，索引存储的数据可能超过单个节点的硬件设置。比如十亿个文档需要1TB空间存储，可能不适合存储在单个节点上，读写被限制在单个节点；从单个节点搜索请求也太慢了。为了解决这个问题，elasticsearch集群提供将索引分割开，进行分片的功能。当创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中的任何节点上。

2.3开启分片副本的主要原因

Elasticsearch采用分片式，可以进行水平分割横向扩展，增大存储量；分布式并行跨分片操作，提高性能和吞吐量。

• 高可用性，以应对分片或者节点故障，处于这个原因，分片副本要在不同节点上；

• 提高I/O性能，增大吞吐量，搜索可以并行在所有副本执行。总之，每个索引可以被分成多个分片，一个索引也可以被复制0次或者多次。一旦复制了，每个索引就有了主分片（可以作为复制源的原始分片）和复制分片（主分片的拷贝）之分。分片和副本的数量可以在索引创建的时候指定，在索引创建之后，你可以在任何时候动态改变副本的数量，但是你事后无法改变分片的数量。默认情况下，Elasticsearch中的每个索引被分片为5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点的情况下，你的索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

三.Logstash介绍

3.1Logstash概述

1. 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出；
2. 工作思路：数据输入（collect）、数据加工（如过滤、改写等enrich）以及数据输出（transport）；
3. 由LRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机（JVM）上；
4. 不同于分离的代理端（agent）或主机端（server），Logstash可配置单一的代理端（agent）与其他开源软件结合，以实现不同的功能。

3.2Logstash主要组件

1. Shipper：日志收集负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可。
2. Indexer：日志存储负责接受日志并写入到本地文件。
3. Broker：日志hub负责链接多个shipper和对应数目的indexer。
4. Search and Storage允许对事件进行搜索和存储。
5. Web Interface基于web的展示界面。以上组件在Logstash架构中可以独立部署，因此提供了很好的集群扩展性

四.Kibana介绍

4.1Kibana概述

1. 一个针对Elasticsearch的开源分析及可视化平台；
2. 搜索、查看存储在Elasticsearch索引中的数据；
3. 通过各种图标进行高级数据分析及展示；
4. 让海量数据更容易理解；
5. 操作简单，基于浏览器地用户界面就可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态；
6. 设置安装Kibana非常简单，无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch监测。

4.2Kibana主要功能

1. Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
2. 整合数据：Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3. 复杂数据分析：Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
4. 让更多团队成员受益：强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5. 接口灵活，分享更容易：使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
6. 配置简单：Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
7. 可视化多数据源：Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、Fluentd等。
8. 简单数据导出：Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

五.ELK集群部署

服务器类型	IP地址	安装的组件	硬件方面
Node1节点	192.168.48.3	Elasticsearch 、 Kibana	4核4G
Node2节点	192.168.48.7	Elasticsearch	4核4G
client节点	192.168.48.11	Logstash Apache（测试用）	2核4G