腾讯云ES：一站式配置，TKE容器日志采集与分析就是这么简单！

作者：腾讯云 ES 团队

对于需要采集并分析腾讯云TKE容器日志的场景，可以使用 Filebeat 采集数据，并将采集的数据传输到腾讯云 Elasticsearch 集群中进行存储，如果需要加工与处理，也可以先将数据发送到腾讯云 Logstash 中进行过滤与预处理，再将数据传输到腾讯云 Elasticsearch 集群中，然后在Kibana中对日志数据进行检索与分析。  本文介绍如何在腾讯云Elasticsearch Service中配置 Filebeat 采集部署在腾讯云的TKE容器日志，并在Kibana中对日志数据进行检索分析，以及对Pod进行下钻分析。

优势特性

• 一站式可视化采集配置，轻松两步，即可在腾讯云ES控制台完成TKE容器日志的采集设置。

• Pod主动发现，当您增加了新的命名空间或者新部署一个Pod后, 不需要再次修改采集配置，Filebeat将主动发现并采集新的Pod的日志。

• 高效便捷的数据检索与分析，通过Kibana即可完成日志数据的检索分析，并可对Pod进行下钻分析。

使用限制

• 腾讯云TKE实例、腾讯云ES集群和Logstash实例，必须在同一VPC下，且腾讯云ES集群和Logstash实例的大版本相同。如果不在同一个VPC，则需要打开ES集群的公网访问，并自己手动部署beats，以及修改相应的配置。

使用步骤

Filebeat采集器配置

1.登录腾讯云Elasticsearch Service控制台，在Beats管理界面，授权服务相关角色，在Filebeat采集器选择TKE日志采集。

2.在创建Filebeat采集器中，设置采集器相关信息。

 第一步，选择输出目的：

• 采集器名称：必填。自定义采集器的名称。

• 安装版本：必选。支持6.8.21、7.10.2、7.14.0、7.17.1，安装版本需要和采集器输出的大版本相同。

• 采集器输出：必选。采集的数据支持传送到腾讯云 Elasticsearch 集群与 Logstash 实例，请选择与需采集数据的 TKE 在同一 VPC 下的 ES 集群和 Logstash 实例。不支持输出至开源版 ES 集群。

• 用户名密码：必填。若选择输出采集数据到开启用户登录认证的 ES 集群，需要填写用户名和密码，使得 Filebeat 有权限向 ES 集群中写入数据。用户名默认为 elastic，密码为集群创建时设置。

• 启用 Monitoring：可选。勾选后生成监控 Filebeat 的相关指标。当采集器输出为 ES 集群时，Monitoring 默认使用和采集器输出相同的 ES 集群；当采集器输出为 Logstash 实例时，则需要在配置文件中额外添加用于存储监控数据的 ES 集群地址。

• 启用 Kibana Dashboard：可选。勾选后生成默认的 Kibana Dashboard。

第二步，配置采集来源：  

• 所在私有网络VPC：默认使用上一步采集器输出选择的实例的VPC，且不可更改。

• 待采集TKE集群ID：必选。需采集的TKE集群的ID，TKE集群需要是运行中状态且为标准集群。

• 采集配置：可通过点击“添加”来横向增加更多采集配置，上限10个。

• 采集配置名称：必填。

• 命名空间：必选。第一个下拉可选择 包含/不包含。第二个下拉可选择命名空间，支持多选，不支持选择不包含全部命名空间。

• Pod标签：选填。支持创建多个Pod标签，标签之间是逻辑与关系。

• 容器名称：选填。填写的容器名称必须在采集目标集群及命名空间之下，为空时，Filebeat会采集命名空间下符合Pod标签的全部容器。

• 写入的索引名称前缀：选填。写入的索引名称前缀将作为ES索引名称的一部分，例如替代filebeat-%{[index]}-%{+yyyy.MM.dd}中的index 。

• 日志内容过滤：选填。根据关键字过滤日志，可填多个关键字，以逗号分隔。

• 高级采集配置：选填。个性化设置解析方式、过滤等，一般采用默认配置。

• 

3.单击确定启用后，跳转到 Beats 采集器管理界面，可以查看 Filebeat 采集器运行状态，显示“正常”则表示采集器安装成功。

通过Kibana对日志进行检索分析

在腾讯云ES控制台上配置好Filebeat后，就可以到Kibana对TKE容器日志进行检索分析了：登录Kibana，在首页左侧导航栏，通过Stack Management->Index Patterns路径进入索引模式设置界面，点击creat index pattern，将Index pattern name设为您配置采集设置时输入的写入的索引名称前缀，并根据指示完成后续的配置。

Index Pattern创建完成后，我们可点击Kibana左侧导航栏Analytics下的Discover进入Discover页面，选择设置的Pattern，即可对日志进行检索分析：

通过Kibana对Pod日志进行下钻分析

登录Kibana，点击Observability下的概览：

进入概览页面，我们可查看日志上报的速率等数据：

点击Metrics下的Inventory，将显示的选项改为Kubernetes Pod，即可根据命名空间、服务类型等字段定位特定的资源：

点击某个Pod,单击Kubernetes Pod 日志，进入日志查看页：

对Pod日志进行下钻分析：

后续规划

当前腾讯云ES已支持对CVM以及TKE容器日志进行采集与分析，后续我们将推出数据接入服务，助力企业在提高使用效率的同时，降低维护成本，持续面向业务价值提供一站式的解决方案。

免费体验活动专区

Elasticsearch 新用户可享 2核4G，0元 体验 30 天！顺畅体验云上集群