ElasticSearch+Logstash+Filebeat+Kibana集群日志管理分析平台搭建

、ELK搜索引擎原理介绍
　　在使用搜索引擎是你可能会觉得很简单方便，只需要在搜索栏输入想要的关键字就能显示出想要的结果。但在这简单的操作背后是搜索引擎复杂的逻辑和许多组件协同工作的结果。

搜索引擎的组件一般可分为两大类：索引组件和搜索组件。在搜索之前搜索引擎必须把可搜索的所有数据做整合处理并构建索引（倒排索引），将所有数据构建成能被搜索的格式并存储起来，这就成为索引组件；能根据用户搜索并能从索引组件构建的索引中查询出用户想要的结果的组件称为搜索组件。

ElasticSearch就属于搜索组件的一种，并且它是一个分布式搜索服务器，在搭建ElasticSearch集群时最好有三台以上的服务器，因为它的数据都是分片存储的。Lucene是Apache提供的开源项目，是一个完全用Java编写的搜索引擎库。ElasticSearch使用Lucene作为内部的搜索索引构建库，使ElasticSearch集成了搜索引擎的两大核心组件。虽然用这两个组件可以完成索引构建并进行搜索操作，但成为完善的搜索引擎是不够的。

对于集群日志分析平台来说，还需要对大量应用服务的日志数据进行采集，并按需要的格式进行划分、存储、分析，这就要用到Logstash和Filebeat组件。

Filebeat是一个非常轻量化的日志采集组件，Filebeat 内置的多种模块（auditd、Apache、NGINX、System 和 MySQL）可实现对常见日志格式的一键收集、解析和可视化。而Logstash是一个开源的服务器端数据处理管道，它可以同时从多个源中提取数据，对其进行转换，然后输出到指定位置。

在解决上面一系列问题后，搜索引擎还需要提供一个友善的用户界面来展示给用户，使用户能够进行傻瓜式的搜索操作，并且还能将搜索结果通过各种直观的方式展示在用户面前。这是就要用到Kibana组件。Kibana可以让ElasticSearch数据极为丰富的展现出来。

上面提到的组件除了Lucene库意外其他的都属于Elastic Stack家族的产品，在普遍的企业中都是采用这些组件构建成集群来分析处理大量的日志数据的。更多组件可访问Elastic官网站点。

二、ELK日志分析集群搭建
1.基本架构
　　在本文示例中，以下面的结构来进行演示，图1：

在上图所示的架构的工作逻辑：Kibana将ElasticSearch集群提供的搜索内容进行可视化处理，并用多种方式展现给用户；ElasticSearch集群和其集成的Lucene用来完成对所有采集到的数据进行分析构建索引并提供搜索；而数据的来源则是通过Logstash和FileBeat采集自Nginx日志，Logstash将来自FileBeat的数据过滤并输出给ElasticSearch集群。

在集群达到一定规模后，大量的后端应用通过FileBeat采集到数据输出到Logstash会使Logstash Server称为性能瓶颈，因为Logstash是用Java程序开发的，很消耗内存，当数据处理量大后性能会大打折扣；所以可以在Logstash和FileBeat之间增加Redis，Redis专门用来做队列数据库，将在FieBeat中采集的数据平缓的输出到Logstash。如图2：

2.搭建ElasticSearch集群
Linux版本：CentOS7.2

ElasticSearch：5.5.1

下面先用图1的架构示例来构建集群，完成后再引入Redis来进行演示，当集群没有达到很庞大规模时引入Redis不会对集群性能有实质性的提升。

由于ElasticSearch是用Java开发的，运行时依赖JDK环境，ElasticSearch集群所有节点上都需要装上JDK。在n2~n4节点上安装ElasticSearch和JDK：

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
　　在官网下载ElasticSearch，我这里安装的是ElasticSearch5.5.1版本，在官网下载rpm包直接安装：

rpm -ivh elasticsearch-5.5.1.rpm
　　ElasticSearch5的程序环境：

1 /etc/elasticsearch/elasticsearch.yml #主程序配置文件
2 /etc/elasticsearch/jvm.options #java配置文件
3 /etc/elasticsearch/log4j2.properties #日志配置文件
　　主配合文件配置段：

复制代码
1 Cluster #集群配置段，需要设置ElasticSearch集群名称
2 Node #各节点配置段，要设置当前主机的主机名
3 Paths #各类路径配置段
4 Memory #内存配置段
5 Network #网络配置段
6 Discovery #
7 Gateway
8 Various
复制代码
ElasticSearch主配置
　　创建数据和日志目录并修改目录权限并启动ElasticSearch：

mkdir -pv /els/{data,logs}
chown -R elasticsearch.elasticsearch /els/
systemctl start elasticsearch
　　启动时发生了错误：

查看 /var/log/messages 发现一条警告信息：

elasticsearch: OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
　　这是因为JVM中的 ParallelGCThreads 参数未设置正确导致的，我修改了虚拟机的线程数后又出现了新的报错：

elasticsearch: Exception in thread “main” ElasticsearchParseException[duplicate settings key [path.data] found at line number [36], column number [12], previous value [/els/data], current value [/els/logs]]
　　这个的大致意思就是路径冲突了，后来发现在主配置文件中我将 path.logs: /els/logs 写成了 path.data: /els/logs ，导致路径冲突。

启动完成后可以看到9200和9300端口被监听：

至此ElasticSearch集群就已经工作起来了。

2.安装Kibana
　　在n1上安装Kibana：

rpm -ivh kibana-5.5.1-x86_64.rpm
　　修改Kibana配置文件：

vim /etc/kibana/kibana.yml
View Code
　　浏览器访问http://192.168.29.101:5601，显示如下，说明Kibana已经安装成功:

3.在n6上安装Nginx和Filebeat
　　前面已经将ElasticSearch搜索引擎最重要的部分搭建完成了，可以进行搜索和构建索引了。下面来部署数据采集的部分。我这里用Nginx来做演示，用Filebeat将Nginx的日志搜集并输出给ElasticSearch并构建索引提供搜索。

在n6节点安装Nginx和Filebeat：

rpm -ivh filebeat-5.5.1-x86_64.rpm
yum install -y nginx
　　配置Filebeat并启动：

vim /etc/filebeat/filebeat.yml
View Code
systemctl start filebeat
　　在浏览器上访问n6节点，使Nginx生成日志文件，触发Filebeat将数据输出给ElasticSearch，然后访问n1节点的Kibana，配置索引模式构建索引。在Nginx被访问后会自动生成：

4.安装并配置Logstash
　　在n5节点上安装Logstash，Logstash的运行依赖JDK环境，所以也需要安装JDK：

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
rpm -ivh logstash-5.5.1.rpm
　　Logstash的组件结构分为输入组件(Input plugin)、输出组件(Output plugin)、过滤组件(Filter plugin)，图示：

测试Logstash是否能正常运行时，为避免与root发生权限冲突，需要切换至logstash用户尝试启动Logstash：

su - logstash -s /bin/bash
　　主配置文件为： /etc/logstash/logstash.yml ，基本上不需要做修改，但要修改n6节点上的Filebeat配置文件，将Filebeat的输出从ElasticSearch修改成向Logstash输出：

View Code
　　在n5节点上编写Logstash过滤模块：

View Code
　　在Kibana上重新查找便能看出已经将 clientip 切割出来了，这种的切割功能用Filebeat是没办法实现的

«