ELK（八）—Metricbeat部署

介绍

Metricbeat 是一个轻量级的开源度量数据收集器，用于监控系统和服务。它由 Elastic 公司开发，并作为 Elastic Stack（Elasticsearch、Logstash、Kibana 以及 Beats）的一部分，用于收集、分析和可视化不同类型的度量数据。Metricbeat 主要专注于收集主机级别的度量数据，例如系统 CPU 使用率、内存使用率、磁盘使用率等。

以下是 Metricbeat 的一些关键特性和详解：

1. 轻量级： Metricbeat 被设计成轻量级和高效的度量数据收集器。它使用 Go 语言编写，占用资源较少，适用于部署在各种环境中。

2. 模块化： Metricbeat 使用模块来支持各种不同的数据源。每个模块都包含了针对特定应用或服务的配置和度量指标收集逻辑。这种模块化的设计使得 Metricbeat 很容易扩展和配置。

3. 预定义的模块： Metricbeat 提供了一系列预定义的模块，用于收集常见的度量数据，包括系统级别、数据库、Web 服务器、云服务等。例如，有 Elasticsearch、MySQL、Nginx 等模块，可以方便地配置并收集相关的性能指标。

4. 实时度量： Metricbeat 支持实时度量数据的收集和传输。它可以将采集到的度量数据发送到 Elasticsearch、Logstash 或者其他输出目的地，以便进行实时监控和分析。

5. 可视化： Metricbeat 与 Kibana 集成，允许用户使用 Kibana 创建仪表板并可视化收集到的度量数据。这使得用户能够更直观地了解系统和服务的性能。

6. 安全性： Metricbeat 提供了安全性配置选项，支持加密和身份验证，以确保数据传输的安全性。

7. 跨平台： Metricbeat 可以运行在多种操作系统上，包括 Linux、Windows、Mac 等，适用于不同的部署场景。

Metricbeat 的工作流程通常包括以下步骤：

• 配置： 配置 Metricbeat，指定要收集的模块和相关的设置，例如目标 Elasticsearch 集群地址、输出目的地等。

• 启动： 启动 Metricbeat，它开始按照配置文件中定义的频率收集和发送度量数据。

• 传输： Metricbeat 将收集到的度量数据传输到指定的目的地，通常是 Elasticsearch。

• 可视化： 使用 Kibana 创建仪表板，通过图表和可视化工具查看和分析度量数据。

通过 Metricbeat，用户可以实时监控系统的性能、资源利用率、服务运行状况等，从而及时发现问题并进行调整和优化。

修改配置文件

# 移动到该目录下
cd /opt/elk
# 下载文件
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.11.3-linux-x86_64.tar.gz
# 解压文件
tar -zxvf  metricbeat-8.8.1-linux-x86_64.tar.gz
# 修改文件名
mv  metricbeat-8.11.3-linux-x86_64.tar.gz metricbeat

修改配置文件

vim metricbeat.yml

添加如下内容：

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
  index.codec: best_compression
setup.kibana:
output.elasticsearch:
  hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.190:9200"]   	# 只需要改这里就可以了，把集群的ip以及对应的端口添加上就可以了。
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

启动

在配置完成后，我们通过如下命令启动即可。

./metricbeat -e

在ELasticsearch中可以看到，系统的一些指标数据已经写入进去了：
下面看到的是系统的架构。

Module

Metricbeat Module的用法和我们之前的filebeat的用法差不多

#查看列表
./metricbeat modules list 

同样的，Metricbeat有两个与模块相关的目录，从目录就可以知道了，hh

这里我们进入modules.d目录，可以看到模块的配置文件。

这里查看system的配资文件，如下；

nginx开启状态查询

在nginx中，需要开启状态查询，才能查询到指标数据。

./configure --prefix=/usr/local/nginx --with-http_stub_status_module 编译安装的是需要有这样一项才可以。

nginx已经在上一节中安装部署好了，这里我们看nginx的信息，可以看到已经开启了状态查询。

[root@elk_master sbin]# ./nginx -V
nginx version: nginx/1.25.0
built by gcc 8.5.0 20210514 (Red Hat 8.5.0-21) (GCC)
built with OpenSSL 1.1.1k  FIPS 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/usr/local/ydhnginx --user=yandonghao --with-http_ssl_module --with-http_v2_module --with-threads --with-http_stub_status_module --with-stream

接下来，我们需要修改nginx的配置文件。

配置文件修改完成后，我们需要重新启动nginx。

然后导浏览器中进行访问。

配置Nginx module

Metricbeat启动nginx模块

./metricbeat modules enable nginx

修改配置文件

vim modules.d/nginx.yml

具体配置如下：

启动

./metricbeat -e

查看是否配置成功

我们能看到，我们的nginx数据已经成功的采集到我们的系统中了

可以看到，nginx的指标数据已经写入到了Elasticsearch。