ELK日志监控系统搭建详细步骤(针对docker容器启动的镜像、微服务版)

1、ELK介绍

    ELK Stack 是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

百度介绍：

      Elasticsearch是强大的数据搜索引擎，是分布式、通过restful方式进行交互的近实时搜索平台框架。

　　Logstash是免费且开放的服务器端数据处理通道，能够从多个来源收集数据，转换数据后将数据发送到数据存储库中。能够动态地采集、转换和传输数据，不受格式和复杂度的影响。

　　Kibana是针对Elasticsearch的开元分析及可视化平台，用于搜索、查看交互存储在Elasticsearch索引中的数据。

框架	简介	作用
Elasticsearch	开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。	接收搜集的海量结构化日志数据，并提供给Kibana查询分析。
Logstash	开源日志搜集、分析、过滤框架，支持多种数据输入输出方式。	用于收集日志，对日志进行过滤形成结构化数据，并转发到Elasticsearch中。
Kibana	开源日志报表系统，对Elasticsearch以及Logstash有良好的web页面支持。	对Elasticsearch提供的数据进行分析展示。

2、环境准备

环境：一台centos7  IP地址：192.168.1.138（这是我的ip，你们的自行查看）

软件版本： ElasticSearch 6.3.2    Logstash 6.3.2  Kibana 6.3.2    JDK 1.8.0_111

网盘资料地址：https://pan.baidu.com/s/1QvvDboHItvrMD4JUTMKyWA 
提取码：sxzs

首选确保服务器上有JDK，输入命令：java-version查看

 如果没有则要先安装JDK

3、搭建ELasticSearch

3.1 下载ELasticSearch

3.2 创建用户，并将 ElasticSearch安装权限归新用户所有

3.2.1 创建用户

3.2.2 创建密码

3.2.3 分配权限 

 3.3 修改配置

3.4 启动 

3.5 测试

浏览器输入服务器ip，端口9200

 3.6 可能遇到的错误

3.7 安装 elasticsearch-head插件

使用docker的集成好的elasticsearch-head 

检查端口是否起来
netstat -antp |grep 9100
浏览器访问测试是否正常http://IP:9100/

 

4、搭建Logstash

4.1 下载logstash

 4.2 修改配置

第一次没有该配置，需新建配置stdin.conf

 

 配置文件中elasticsearch -> hosts 为刚才搭建的elasticsearch地址

* 这里每次重新部署之后日志路径变更问题已经解决：

Docker启动容器之后，将容器日志挂载到指定目录 /data/docker/***.log

命令如下：

 将日志信息都挂载到此处

 4.3 启动

在bin目录下

 

5、搭建Kibana

5.1 下载Kibana

解压Kibana

5.2 修改配置文件

 

5.3 启动

全部搭建好以后就可以用Kibana查看

地址：192.168.1.138:5601

6、Kibana相关操作

6.1 创建索引

选择 左上角的 Discover 

之后根据提示来创建即可，索引名输入：logstash-*

7、查看

索引创建之后，logstash监控的日志路径的日志，就会实时展示在Kibana可视化页面

可以通过Kibana自带的一系列操作，例如：自动刷新、查看多久前的日志等操作，来查看相应的时间段

自动刷新：

 

Kibana界面还具有很多更加方便、简洁、直观的操作，后续有待研究使用。 

按需所取，码字不易，不喜勿喷。