elk监控服务器性能,空口无凭：服务器性能监控 ELK实践

随着项目中服务器越加越多，项目组需要对服务器进行更为完善的性能监控：排查问题故障的时，经常要登录到服务器上查看CPU、内存、网络、磁盘状况。作为一种高吞吐量的分布式发布订阅消息系统，kafka就是其中之一，当然还少不了elasticsearch、spark等。

kafka

一般来说，项目中应用集群种类较多，这些集群具备各自的应用监控能力，但是不具备整体的监控入口。在本文中我们先将服务器性能数据收集起来，做简单的展现，后面再将应用的运行信息采集用于定制的展现。这样就能不断扩展监控，第一时间了解整个项目中服务器的运行状况。

对此云端卫士工程师窦鹏辉和付大伟表示：我们在以往较早项目中已经使用了elasticsearch(1.2)、kibana(3)，在了解到ELK版本升级迅速的特点后，考虑使用最新版的ELK来监控服务器性能。

本文中会提到的软件：

Logstash

ElasticSearch

Kibana

Collectd

Collectl

在这里Collectl、Collectd都是性能采集软件，结果输出不同，后面会有介绍。

主要步骤如下：

1，服务器上统一安装Collectd软件，收集服务器运行数据发送给logstash。

2，Logstash接受collectd发送过来的数据，并插入es集群中。

3，设计kibana报表，统计展现这些性能数据。

4，如需其他功能还需定制开发web应用。

5，架构简单示意如下：

安装配置

collectd安装配置

collectd 是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系统运行和存储信息时周期性的统计系统的相关统计信息

安装

在Ubuntu/Debian上：

# apt-get install collectd [On Debian based Systems]

在RHEL/CentOS 6.x/5.x上：

在基于红帽的较旧系统(比如CentOS/Fedora)上，你先需要启用系统下的epel软件库，然后你才能从epel软件库安装collectd程序包。

# yum install collectd

在RHEL/CentOS 7.x上：

在最新版本的RHEL/CentOS 7.x上，你可以从默认的yum软件库安装和启用epel软件库，如下所示。

# yum install epel-release

# yum install collectd

将Collectd安装到CentOS/RHEL/Fedora上

注意：对Fedora用户而言，不需要启用任何第三方软件库，只要运行yum命令，即可从默认的yum软件库获得collectd程序包