基于ELK的OpenStack日志获取和分析 [1] - ELK概述

最新推荐文章于 2020-08-26 08:00:00 发布

赤焰军

最新推荐文章于 2020-08-26 08:00:00 发布

阅读量3.6k

点赞数

分类专栏： openstack 云计算 neutron python

本文链接：https://blog.csdn.net/bc_vnetwork/article/details/52193330

版权

本文介绍了ELK（Elasticsearch、Logstash、Kibana）日志分析系统，强调了其在大规模服务器运维中的重要性。详细阐述了在OpenStack环境中安装和配置ELK的过程，包括Elasticsearch的安装、Logstash的配置以及Kibana的使用，以实现实时监控OpenStack组件的日志并进行告警和错误检测。

摘要由CSDN通过智能技术生成

作者: 赵怡

1. ELK概述

我们在大规模服务器节点上部署某分布式软件后(如OpenStack), 需要对其进行持续运维和监测状态。一般情况下, 通过实时查看和过滤该软件的log日志是必须的通用手段。手动在每个节点上挨个查看log文件效率低下, 并不现实, 而自己写脚本去每个节点上抓取log文件的性能并不高。

ELK这套实时日志分析系统能够有效解决上述问题, 并能和其他运维管理系统集成, 达到自动抓取log, 过滤分析的目的。

ELK实际上由3个软件组成: Elastic Search, Logstash和Kibana, 来自一家公司, 代码都是Java写的。

* Elastic Search是一款基于Lucene开源的分布式搜索引擎, 它的特点是: 分布式, 开源的实时全文查询和分析引擎。

* Logstash是一款开源的数据收集器和管道, 可以收集多种数据源 (如文件, tcp, syslog), 编码转换格式/过滤, 并输出到elastic search或其他软件中。目前有很多插件可以来支持各种各样的数据源以及输出格式。

* Kibana是一款开源的数据可视化平台, 能够通过输入的数据在网页上展示出不同的图表。

另外通过该公司的Beats项目中的Packetbeat插件, 可以收集主机上的网络报文, 作为输入源给elastic search分析。

Elastic-search, Logstash,Kibana之间的关系

2. OpenStack中如何安装和配置ELK

在OpenStack中, 我们会实时监控各节点上各组件的log日志, 以获取告警信息, 并能及时发现系统运行时发生的错误。

以nova, neutron组件为例, 我们看看在OpenStack下如何集成ELK工具。

我们会把elastic search和kibana安装在控制节点上, logstash安装在控制节点、网络节点和计算节点上。

首先需要保证所有节点上安装了JRE 7.0以上版本, 以提供JAVA环境, 推荐安装Java 8 update 20or later, or Java 7 update 55 or later, Java 7早期的版本有严重bug, 会导致数据丢失。笔者安装的是: java-1.8.0-openjdk