ELK+filebeat+metricbeat+heartbeat+auditbeat安装配置及汉化_filebeat heartbeat

2401_84247505

于 2024-04-12 04:41:23 发布

阅读量999

点赞数 27

分类专栏： 2024年程序员学习文章标签： elk jenkins 运维

本文链接：https://blog.csdn.net/2401_84247505/article/details/137661832

版权

2024年程序员学习专栏收录该内容

96 篇文章 0 订阅

订阅专栏

network.host: ipaddr
http.port: 9200

启动elasticsearch

./bin/elasticsearch&

关闭防火墙

systemctl status firewalld
systemctl disable firewalld
systemctl stop firewalld

验证elasticsearch安装

curl http://192.168.65.243:9200

三、Kibana安装配置

解压kibana压缩包
编辑kibana配置文件config/kibana.yml

server.port: 5601
server.host: “192.168.65.243”
elasticsearch.url: “http://192.168.65.243:9200”

启动kibana

./bin/kibana&

访问http://192.168.65.243:5601 访问kibana

四、filebeat安装配置

编辑filebeat.yml文件

filebeat.prospectors:

type: log
paths:
/path/to/file/logstash-tutorial.log
output.logstash:
hosts: [“192.168.65.243:5044”]

启动命令

考虑到读取日志文件的权限，filebeat应运行在root用户下

sudo /usr/local/filebeat/filebeat -e -c filebeat.yml

此处可使用的测试日志文件地址为

重新读取log文件的方法

关闭filebeat文件，删除注册信息

rm data/registry

五、Logstash安装配置

Logstash与beat的区别

logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。

5.1 安装配置

生成Logstash配置文件

cp config/logstash-sample.conf config/logstash-elk.conf

编辑logstash-elk.conf文件

input {
beats {
port => 5044
}
}

filter {
grok {
match => {“message” => “%{COMBINEDAPACHELOG}”}
}
geoip {
source => “clientip”
}
}
output {
elasticsearch {
hosts => [ “192.168.65.243:9200” ]
index => “apachelog”
}
}

启动logstash

bin/logstash -f config/logstash-elk.conf --config.reload.automatic

grok在线调试工具

kibana集成的grok调试工具

logstash 支持的grok正则模式

5.2 支持的输入

file: 从文件系统读取文件。
syslog: 监听syslog消息的514端口并根据RFC3164格式进行解析。
redis: 使用redis channels和redis lists 从redis server读取数据。 Redis通常用作Logstash的“代理”，将Logstash事件排队。
beats: 处理beats发送的事件。

5.3 过滤器

过滤器是Logstash管道中的中间处理设备。您可以将过滤器与条件组合，以便在事件满足特定条件时对其执行操作。一些有用的过滤包括：

grok: 解析并构造任意文本。 Grok是目前Logstash中将非结构化日志数据解析为结构化和可查询内容的最佳方式。 Logstash内置120种模式。
mutate: 对事件字段执行常规转换。您可以重命名，删除，替换和修改事件中的字段。
drop: 完全删除事件，例如调试事件。
clone: 制作事件的副本，可添加或删除字段。
geoip: 添加有关IP地址地理位置的信息 (可对应为Kibana中的图表)

5.4 输出

输出是Logstash管道的最后阶段。事件可以通过多个输出，但是一旦所有输出处理完成，事件就完成了它的执行。一些常用的输出包括：

elasticsearch: 将事件数据发送到Elasticsearch。
file: 将事件数据写入磁盘上的文件。
graphite: 将事件数据发送到graphite，这是一种用于存储和绘制指标的流行开源工具。

http://graphite.readthedocs.io/en/latest/

statsd: 将事件数据发送到statsd，这是一种“侦听统计信息，如计数器和定时器，通过UDP发送并将聚合发送到一个或多个可插入后端服务”的服务。

5.5 编解码器

编解码器基本上是流过滤器，可以作为输入或输出的一部分。使用编解码器可以轻松地将消息传输与序列化过程分开。流行的编解码器包括json，msgpack和plain（text）。

json: 以JSON格式编码或解码数据。
multiline: 将多行文本事件（如java异常和堆栈跟踪消息）合并到一个事件中。

5.6 持久化队列

5.6.1 优缺点

默认情况下，Logstash在管道阶段（输入→管道工作者）之间使用内存中有界队列来缓冲事件。这些内存中队列的大小是固定的，不可配置。如果Logstash遇到机器故障，则内存中队列的内容将丢失。为了防止异常终止期间的数据丢失，Logstash具有持久队列功能，该功能将消息队列存储在磁盘上。持久队列提供Logstash中数据的持久性。

启用持久队列的好处如下：无需像Redis或Apache Kafka这样的外部缓冲机制即可吸收突发事件。在正常关闭期间以及Logstash异常终止时提供至少一次传递保证以防止消息丢失。如果在事件发生时重新启动Logstash，Logstash将尝试传递存储在持久队列中的消息，直到传递成功至少一次。

以下是持久队列功能无法解决的问题：不使用请求 - 响应协议的输入插件无法防止数据丢失。例如：tcp，udp，zeromq push + pull，以及许多其他输入没有确认收件人的机制。具有确认功能的插件（如beats和http）受此队列的良好保护。它不处理永久性机器故障，例如磁盘损坏，磁盘故障和机器丢失。持久存储到磁盘的数据不会被复制。

5.6.2 工作原理

队列位于同一进程中的输入和过滤阶段之间：

输入→队列→过滤器+输出

当输入已准备好处理事件时，它会将它们写入队列。当对队列的写入成功时，输入可以向其数据源发送确认。处理队列中的事件时，只有在过滤器和输出完成后，Logstash才会在队列中确认已完成的事件。队列记录管道已处理的事件。当且仅当事件已由Logstash管道完全处理时，事件被记录为已处理（在本文档中，称为“已确认”或“已确认”）。

5.6.3 配置方法

要配置持久队列，可以在Logstash设置文件中指定以下选项：

queue.type: 指定持久化以启用持久队列。默认情况下，禁用持久队列（默认值：queue.type：memory）。
path.queue: 存储数据文件的目录路径。默认情况下，文件存储在path.data /queue中。
queue.page_capacity: 队列页面的最大大小（以字节为单位）。队列数据由称为“pages”的附加文件组成。默认大小为64mb。更改此值不会带来性能改进。
queue.drain: 如果希望Logstash在关闭之前等待持久队列耗尽，则指定true。耗尽队列所需的时间取决于队列中累积的事件数。因此，您应该避免使用此设置，除非队列（即使已满）相对较小并且可以快速耗尽。
queue.max_events: 队列中允许的最大事件数。默认值为0（无限制）。
queue.max_bytes: 队列的总容量，以字节数表示。默认值为1024mb（1Gb）。确保磁盘驱动器的容量大于此处指定的值。

5.6.4 处理反压

当队列已满时，Logstash会对输入施加压力，以阻止流入Logstash的数据。这种机制有助于Logstash控制输入阶段的数据流速率，而不会像Elasticsearch那样压倒性的输出。

每个输入独立处理反压。例如，当beat输入遇到反压时，它不再接受新连接并等待持久队列有空间接受更多事件。在过滤器和输出阶段完成处理队列中的现有事件并确认它们之后，Logstash会自动开始接受新事件。

5.6.5 控制耐久性

持久性是存储写入的属性，可确保数据在写入后可用。启用持久队列功能后，Logstash会将事件存储在磁盘上。 Logstash在名为checkpointing的机制中提交到磁盘。

为了讨论持久性，我们需要介绍一些有关如何实现持久队列的细节。首先，队列本身是一组页面。有两种页面：头页和尾页。头页是写入新事件的地方。只有一个头页。当头页具有特定大小（请参阅queue.page_capacity）时，它将成为尾页，并创建新的头页。尾页是不可变的，头页是append-only的。其次，队列在称为检查点文件的单独文件中记录有关其自身的详细信息（页面，确认等）。

录制检查点时，Logstash将：在头页上调用fsync，原子地将磁盘写入队列的当前状态；检查点的过程是原子的，这意味着如果成功，将保存对文件的任何更新；如果Logstash终止，或者存在硬件级别故障，在永久队列中缓冲但尚未检查点的任何数据都将丢失。

可以通过设置queue.checkpoint.writes来更频繁地强制Logstash检查点。此设置指定在强制检查点之前可能写入磁盘的最大事件数。默认值为1024.要确保最大持久性并避免丢失持久队列中的数据，可以设置queue.checkpoint.writes：1以在写入每个事件后强制执行检查点。请记住，磁盘写入会产生资源成本。将此值设置为1会严重影响性能。

六、Metricbeat安装配置

Metricbeat是一个轻量级代理，在服务器上安装，以定期从操作系统和服务器上运行的服务收集指标。 Metricbeat获取它收集的指标和统计信息，并将它们发送到指定的输出，例如Elasticsearch或Logstash。

支持的服务包括：

Apache
HAProxy
MongoDB
MySQL
Nginx
PostgreSQL
Redis
System
Zookeeper

6.1 安装配置

修改配置文件metricbeat.yml，将输出指向Logstash

#----------------------------- Logstash output --------------------------------
output.logstash:
hosts: [“127.0.0.1:5044”]

修改logstash的配置 logstash-elk.conf

input {
beats {
port => 5044
}
}

output {
elasticsearch {
hosts => [“http://localhost:9200”]
index => “%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}”
}
}

导出索引模板(手动方法)

./metricbeat export template > metricbeat.template.json

安装索引模板（手动方法）

curl -XPUT -H ‘Content-Type: application/json’ http://localhost:9200/_template/metricbeat-6.5.1 -d@metricbeat.template.json

设置Kibana仪表盘

./metricbeat setup --dashboards

6.x 安装错误

1、metricbeat setup --dashboards

Exiting: Error importing Kibana dashboards: fail to create the Kibana loader: Error creating Kibana client: fail to get the Kibana version:HTTP GET request to /api/status fails: fail to execute the HTTP GET request: Get http://localhost:5601/api/status: 1 dial tcp 127.0.0.1:5601: getsockopt: connection refused. Response: .

原因：

Metricbeat 不能直接连接localhost:5601的Kibana，需要修改metricbeat.yml 指向Kibana的运行地址: