ubuntu20.04下使用juju+maas环境部署k8s-6-使用graylog和Prometheus2监控k8s集群-3-graylog模块导入filebeat转发的日志

参考文档：

使用 Graylog 和 Prometheus 监视 Kubernetes 集群

Kubernetes documentation

Prometheus2 #22
Grafana #40
Telegraf #41

Graylog #47
Elasticsearch #49
Mongodb #59
Apache2
多节点openstack charms 部署指南0.0.1-36-graylog实际-1
多节点openstack charms 部署指南0.0.1-37-graylog实际-2
多节点openstack charms 部署指南0.0.1-38-graylog实际-3
多节点openstack charms 部署指南0.0.1-39-graylog-4-filebeat

Rsyslog #18
Rsyslog Forwarder Ha #20
多节点OpenStack Charms 部署指南0.0.1.dev223–26–跨model 建立关系构建rsyslog 日志服务器构建实际
多节点OpenStack Charms 部署指南0.0.1.dev223–25–rsyslog 日志服务器构建实际
Filebeat #33
Compatibility with Elasticsearch (5.x, 6.x, 7.x)

Filebeat #33

描述

作为下一代 Logstash 转发器，Filebeat 跟踪日志并将这些信息快速发送到 Logstash 以进行进一步解析和充实，或者发送到 lasticsearch 进行集中存储和分析。

概述

Filebeat 是一个轻量级的开源日志文件数据传送器。作为下一代 Logstash 转发器，Filebeat 跟踪日志并将这些信息快速发送到 Logstash 进行进一步解析和充实或发送到 Elasticsearch 进行集中存储和分析

用法

由于作为子charm，Filebeat 可以添加到任何主要charm。以下示例将部署一个 ubuntu 日志源以及 elk 堆栈，以便我们可以可视化我们的日志数据。

juju deploy ~elasticsearch-charmers/bundle/elk-stack
juju deploy xenial/filebeat
juju deploy xenial/ubuntu
juju add-relation filebeat:beats-host ubuntu
juju add-relation filebeat logstash

部署最小的 Beats 编队

如果您不需要对传送到 ElasticSearch 的数据进行日志缓冲和备用转换，您可以简单地部署“beats-core”包，它支持 Elasticsearch、Kibana 和已知的工作 Beats 从属应用程序。

juju deploy ~containers/bundle/beats-core
juju deploy xenial/ubuntu
juju add-relation filebeat:beats-host ubuntu
juju add-relation topbeat:beats-host ubuntu

更改传输的文件目录

默认情况下，Filebeat 超级按钮将发送 /var/lib/docker/containers 中存在的任何容器日志以及以下所有内容：

/var/log//.log
/var/log/*.log

如果您更愿意针对特定的日志文件

juju config filebeat logpath=/var/log/mylog.log

测试部署

应用程序提供扩展状态报告以指示它们何时准备就绪：

juju status

当与 watch 结合跟踪部署的持续进度时，这特别有用：

watch juju status

每个单元的消息将提供有关该单元状态的信息。一旦它们都表明它们已准备就绪，您就可以导航到 kibana url 并查看来自 Ubuntu 主机的流式日志数据。

juju status kibana --format=yaml | grep public-address

在浏览器中导航到 http:/// 并开始创建仪表板可视化。

升级filebeat

升级在charm和 apt 存储库级别处理。使用 upgrade-charm 获取所有 filebeat 单元的最新charm代码：

juju upgrade-charm filebeat

每当 install_sources 配置更改时，都会扫描 Apt 存储库。如果在配置的存储库中找到新版本的 filebeat，juju status 将指示操作员运行重新安装操作。此操作必须在每个 filebeat 单元上运行：

juju run-action --wait filebeat/0 reinstall

重新安装操作将停止 filebeat 服务，清除 apt 包，并重新安装配置存储库中可用的最新版本。

扩展使用
作为从属charm，filebeat 将在添加额外的主要单位时进行扩展。例如，添加与filebeat相关的ubuntu单元将自动为新单元安装和配置filebeat

juju add-unit ubuntu

要监视其他应用程序，只需关联 filebeat 从属：

juju add-relation filebeat:beats-host my-charm

联系信息

elasticsearch-charmers@lists.launchpad.net

社区/帮助
Juju Discourse

---

以下是实际配置

部署固定版本的elasticsearch

本节主要记录filebeat转发log日志的配置，主要注意的是elasticsearch和filebeat的版本依赖关系，还由跨模块的filebeat和graylog之间的关系。

根据Compatibility with Elasticsearch (5.x, 6.x, 7.x)，filebeat和elasticsearch之间由版本匹配需求：

现在安装的filebeat版本为： 6.8.16

故对应的elastic版本为：6.0-7.13

而charm Elasticsearch #49默认安装的elasticsearch版本为 5.6.16 ，所以两者不匹配，会造成graylog收不到log。

故前文中，部署elasticsearch#49时，要部署固定版本。

注：此处有疑义，因为开始时是用部署 juju deploy cs:elasticsearch
再删除juju remove-application elasticsearch
再重新部署的juju deploy cs:elasticsearch --constraints tags=elasticsearch --series focal --config apt-repository="deb https://artifacts.elastic.co/packages/oss-6.x/apt stable main" --debug,
直接部署6.x出现error状态。

juju deploy cs:elasticsearch --constraints tags=elasticsearch --series focal --config apt-repository="deb https://artifacts.elastic.co/packages/6.x/apt stable main" --debug

graylog模块内的filebeat转发log至graylog

juju switch graylog

juju deploy cs:filebeat-33 --series focal --debug

juju add-relation filebeat:beats-host apache2
juju add-relation filebeat:beats-host elasticsearch
juju add-relation filebeat:beats-host mongodb
juju add-relation filebeat:beats-host graylog
juju add-relation filebeat:logstash graylog:beats


juju config filebeat logpath="/var/log/*.log /var/log/containers/*.log"

juju run --unit graylog/0 'unit-get private-address'    #获取graylog-ip 
juju config filebeat logstash_hosts="<graylog-ip>:5044"

在graylog web中配置filebeat输入

配置跨模块的日志转发

在graylog模块，配置offer

juju offer graylog:beats

输出为：

Application "graylog" endpoints [beats] available at "admin/graylog.graylog"

在prometheus2模块，部署并配置filebeat

juju switch prometheus2

juju deploy cs:filebeat-33 --series focal --debug

juju add-relation filebeat:beats-host prometheus2
juju add-relation filebeat:beats-host grafana

#配置跨模块链接

juju consume admin/graylog.graylog

输出为：

Added admin/graylog.graylog as graylog

juju add-relation filebeat:logstash graylog:beats
juju config filebeat  logpath="/var/log/*.log /var/log/containers/*.log"
juju config filebeat logstash_hosts="10.0.9.13:5044"

查找prometheus2模块的 filebeat转发的log

按关键词“grafana”查询

日志收集系统graylog部署完毕，但是filebeat和rsyslog转发，哪个更好，没有定论，但是dell emc推荐的是graylog+elasticsearch+mongodb+filebeat。