第 11 章 日志管理 - 090 - ELK 完整部署和使用

ELK 完整部署和使用

几乎所有的软件和应用都有自己的日志文件，容器也不例外。

前面我们已经知道 Docker 会将容器日志记录到 /var/lib/docker/containers/<contariner ID>/<contariner ID>-json.log，那么只要我们能够将此文件发送给 ELK 就可以实现日志管理。

 

ELK 提供了一个配套小工具 Filebeat，它能将指定路径下的日志文件转发给 ELK。同时 Filebeat 会监控日志文件，当日志更新时，Filebeat 会将新的内容发送给 ELK。

 

安装 Filebeat

下面在 Docker Host 中安装和配置 Filebeat。

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.1-amd64.deb

sudo dpkg -i filebeat-7.0.1-amd64.deb

 

当你看到这篇文章时，Filebeat 可能已经有了更新的版本，请参考最新的安装文档 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html

 

 

配置 Filebeat

Filebeat 的配置文件为 /etc/filebeat/filebeat.yml，我们需要告诉 Filebeat 两件事：

    监控哪些日志文件？

    将日志发送到哪里？

 

首先回答第一个问题

 

在 paths 中我们配置了两条路径：

    /var/lib/docker/containers/*/*.log 是所有容器的日志文件。

    /var/log/syslog 是 Host 操作系统的 syslog。

 

接下来告诉 Filebeat 将这些日志发送给 ELK。

 

Filebeat 可以将日志发送给 Elasticsearch 进行索引和保存；

也可以先发送给 Logstash 进行分析和过滤，然后由 Logstash 转发给 Elasticsearch。

 

为了不引入过多的复杂性，我们这里将日志直接发送给 Elasticsearch

 

如果要发送给 Logstash，可参考后半部分的注释。

 

当前的日志处理流程如下图所示：

 

 

启动 Filebeat

Filebeat 安装时已经注册为 systemd 的服务，可以直接启动服务。

systemctl start filebeat.service

 

 

管理日志

Filebeat 启动后，正常情况下会将监控的日志发送给 Elasticsearch。

 

指定 index pattern 为 filebeat-*，这与 Elasticsearch 中的 index一致。

Time-field name 选择 @timestamp。

点击 Create 创建 index pattern。

点击 Kibana 左侧 Discover 菜单，便可看到容器和 syslog 日志信息。

 

 

下面我们启动一个新的容器，该容器将向控制台打印信息，模拟日志输出。

docker run busybox sh -c 'while true; do echo "This is a log message from container busybox!"; sleep 10; done;'

 

刷新 Kibana 页面或者点击右上角 Refresh 图标，马上就能看到 busybox 的日志。

 

Kibana 也提供了强大的查询功能，比如输入关键字 busybox 能搜索出所有匹配的日志条目。

 

我们这里只是简单地将日志导入 ELK 并朴素地显示出来，实际上 ELK 还可以对日志进行归类汇总、分析聚合、创建炫酷的 Dashboard 等，可以挖掘的内容很多，玩法很丰富。

 

---------------------------------------引用来自------------------------------------------------
https://mp.weixin.qq.com/s?__biz=MzIwMTM5MjUwMg==&mid=2653587985&idx=1&sn=b3d4639d1dff9feec0ca8d29e0b6e2aa&chksm=8d308208ba470b1ed110852f866dc1f1208a42da832766672e56f14ef10affed62051abf948c&scene=21#wechat_redirect

转载于:https://www.cnblogs.com/gsophy/p/10863484.html