Logstash【从无到有从有到无】【L7】管理Logstash

1.管理Logstash

Logstash提供配置管理功能，使您可以更轻松地管理配置的更新。

本节中的主题仅介绍Logstash配置管理功能。有关其他配置管理工具（如Puppet和Chef）的信息，请参阅这些项目的文档。另请参阅 Logstash Puppet模块文档。

管道管理功能集中了Kibana中Logstash配置管道的创建和管理。

集中管道管理是X-Pack功能，不包含在基本许可证中。如果您想尝试所有功能，可以开始为期30天的试用。在试用期结束时，您可以购买订阅以继续使用X-Pack组件的全部功能。有关更多信息，请参阅https://www.elastic.co/subscriptions和许可证管理。

您可以从Kibana中的管道管理UI控制多个Logstash实例。您可以添加，编辑和删除管道配置。在Logstash端，您只需启用配置管理并注册Logstash即可使用集中管理的管道配置。

将Logstash配置为使用集中管道管理后，您将无法再指定本地管道配置。启用集中管道管理时，pipelines.yml文件和设置（如path.config和）config.string将处于非活动状态。

在使用管道管理UI之前，您必须：

配置集中管道管理。
如果Kibana受基本身份验证保护，请确保您的Kibana用户具有logstash_admin角色以及logstash_writer您在配置Logstash以使用基本身份验证时创建的角色。此外，为了在管道管理UI中查看（作为只读）非集中管理的管道，请确保您的Kibana用户也具有该monitoring_user角色。

要管理Kibana中的Logstash管道：

1.在浏览器中打开Kibana，然后转到“管理”选项卡。如果您正确设置了配置管理，您将看到用于管理Logstash的区域。

单击“管道”链接。

要添加新管道，请单击“ 创建管道并指定值”。

管道ID	唯一标识管道的名称。这是您在配置集中管道管理并在`xpack.management.pipeline.id` 设置中指定管道ID列表时使用的ID 。
描述	管道配置的描述。此信息供您使用。
管道	管道配置。您可以像管理其他任何编辑器一样处理管道管理UI中的编辑器。您不必担心空格或缩进。
管道工人（workers）	用于运行管道的过滤器和输出阶段的并行工作器数。
管道批量大小	单个工作线程在执行过滤器和输出之前收集的最大事件数。
管道批量延迟	在将小型批处理发送给管道工作者之前等待每个事件的时间（以毫秒为单位）。
队列类型	事件缓冲的内部排队模型。选项是内存中队列的内存，或者是基于磁盘的确认队列的持久性。
队列最大字节数	队列的总容量。
队列检查点写入	启用持久队列时强制检查点之前写入的最大事件数。

管道配置和元数据存储在Elasticsearch中。您对管道定义所做的任何更改都会被注册为使用管道的所有Logstash实例自动拾取和加载。更改立即应用。如果注册了Logstash以使用管道，则不必重新启动Logstash来获取更改。
管道在所有注册使用管道的Logstash实例上运行。Kibana保存新配置，Logstash将尝试加载它。在UI级别没有完成验证。
您需要检查本地Logstash日志中的配置错误。如果您正在使用X-Pack中的Logstash监视功能，请使用“监视”选项卡检查Logstash节点的状态。
您可以指定在同一Logstash节点上并行运行的多个管道配置。
如果编辑并保存管道配置，Logstash将在后台重新加载配置并继续处理事件。
如果您尝试删除Kibana 中正在运行的管道（例如apache），Logstash将尝试停止管道。Logstash等待直到管道完全处理完所有事件。在删除管道之前，请确保您了解数据源。停止管道可能会导致数据丢失。