ELK-Logstash（1）

Logstash介绍

Logstash是一个具有实时流水线功能的开源数据收集引擎。 Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目的地。 清理和民主化所有数据，用于各种先进的下游分析和可视化用例。
ss
尽管Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。 任何类型的事件都可以通过大量的输入，过滤和输出插件进行丰富和转换，其中许多本地编解码器进一步简化了接收过程。 Logstash通过利用更大的数据量和各种数据来加速您的见解。

---

Logstash的功能：

Elasticsearch等摄入主力

具有强大Elasticsearch和Kibana协同功能的水平可伸缩数据处理流水线

可插入的管道结构

混合，匹配和编排不同的输入，滤波器和输出以在管线和声中播放

社区可扩展和开发友好的插件生态系统

超过200个可用的插件，以及创建和贡献自己的灵活性

Logstash喜欢数据：

收集更多，所以你可以知道更多。 Logstash欢迎所有形式的数据。

---

网络：

解锁万维网。

 将HTTP请求转换成事件
     从Twitter等Web服务消费者中进行社交情绪分析
     Webhook支持GitHub，HipChat，JIRA和其他无数的应用程序
     启用许多观察器警报用例

 通过按需轮询HTTP端点来创建事件
     通用地从Web应用程序界面捕获健康状况，性能，指标和其他类型的数据
     适用于轮询控制优于接收的情况

---

数据存储和数据流：

从您已拥有的数据中发掘更多价值。

 使用JDBC接口更好地理解来自任何关系数据库或NoSQL存储的数据
 统一来自消息队列的不同数据流，如Apache Kafka，RabbitMQ和Amazon SQS

---

传感器和物联网：

探索广泛的其他数据。 在这个技术进步的时代，海量的物联网世界通过捕捉和利用来自连接的传感器的数据释放无数的用例。 Logstash是用于摄取从移动设备发送到智能家庭，连接车辆，医疗传感器以及许多其他行业特定应用的数据的常见事件收集中枢。

---

轻松丰富一切：

数据越好，知识越好。在摄取过程中清理并转换您的数据，以便在索引或输出时刻立即获得近乎实时的信息。 Logstash提供了许多聚合和突变以及模式匹配，地理映射和动态查找功能。

Grok是Logstash过滤器的面包和黄油，并且无处不在地用于从非结构化数据中派生出结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其他类型的事件格式。
通过解析来自IP地址的地理坐标，规范日期复杂性，简化键值对和CSV数据，指纹（匿名）敏感信息以及通过本地查找或Elasticsearch查询进一步丰富您的数据，从而扩展您的视野。
编解码器通常用于简化JSON和多行事件等常见事件结构的处理。

请参阅转换数据以了解一些常用数据处理插件的概述。

---

选择你的存储：

将数据放在最重要的位置。 通过存储，分析和对数据采取行动，解锁各种下游分析和操作用例。

分析

Elasticsearch
 数据存储，如MongoDB和Riak

存档

HDFS
S3

监控

Nagios的
神经节
ZABBIX
 石墨
Datadog
的CloudWatch

告警

Watcher with Elasticsearch
Email
Pagerduty
IRC
SNS 

---

---

Logstash入门

本节将指导您完成安装Logstash并验证一切正常运行的过程。 在学习如何隐藏你的第一个事件之后，你将继续创建一个更高级的管道，它将Apache网络日志作为输入，解析日志，并将解析后的数据写入Elasticsearch集群。 然后，您将学习如何将多个输入和输出插件缝合在一起，以统一各种不同来源的数据。

本节包括以下主题：

Installing Logstash（安装）

Stashing Your First Event（存储第一个事件）

Advanced Pipeline

Multiple Output Plugins （众多的输出插件）

---

Logstash是如何工作的

Logstash事件处理管道有三个阶段：输入→过滤器→输出。 输入生成事件，过滤器修改它们，输出将它们运送到别处。 输入和输出支持编解码器，使您可以在数据进入或退出流水线时进行编码或解码，而无需使用单独的过滤器。

输入：

您使用输入插件将数据导入Logstash。 一些更常用的输入插件是：

 文件File：从文件系统上的文件读取，非常类似于UNIX命令tail -F
 系统日志Syslog：在众所周知的端口514上侦听系统日志消息，并根据RFC3164格式进行解析
 redis：使用redis通道和redis列表从redis服务器读取数据。 Redis经常用作集中式Logstash安装中的“代理”，它将来自远程Logstash“托运人”的Logstash事件排队。
 beats：处理由Filebeat发送的事件。

有关可用输入插件的更多信息，请参阅输入插件。

过滤器：

过滤器是Logstash管道中的中间处理设备。 如果符合特定条件，您可以将条件过滤器组合在一起，对事件执行操作。 一些有用的过滤器包括：

 grok：解析和结构任意文本。 Grok目前是Logstash中将非结构化日志数据解析为结构化和可查询的最佳方法。 Logstash内置了120个模式，所以很有可能您会找到满足您需求的模式！
 mutate：对事件字段执行一般转换。 您可以重命名，删除，替换和修改事件中的字段。
 drop：完全删除一个事件，例如，调试事件。
 克隆：制作一个事件的副本，可能会添加或删除字段。
 geoip：添加有关IP地址的地理位置信息（也可以在Kibana中显示惊人的图表！）

有关可用过滤器的更多信息，请参阅过滤器插件。

输出：

输出是Logstash管道的最后阶段。 一个事件可以通过多个输出，但是一旦所有输出处理完成，事件就完成了执行。 一些常用的输出插件包括：

 elasticsearch：将事件数据发送给Elasticsearch。 如果您打算以高效，方便和易于查询的格式保存您的数据，那么Elasticsearch是一条可行的路线。 期。 是的，我们有偏见:)
 文件：将事件数据写入磁盘上的文件。
 石墨：将事件数据发送给石墨，石墨是一种流行的开源工具，用于存储和绘制指标。http://graphite.readthedocs.io/en/latest/
 statsd：将事件数据发送到statsd，这是一种“侦听统计信息（如计数器和定时器，通过UDP发送并将聚合发送到一个或多个可插入的后端服务”）的服务。 如果你已经使用statsd，这可能对你有用！

有关可用输出的更多信息，请参阅输出插件。

编解码器：

编解码器基本上是可以作为输入或输出的一部分操作的流过滤器。 使用编解码器，您可以轻松地将消息从序列化过程中分离出来。 流行的编解码器包括json，msgpack和普通（文本）。

 json：以JSON格式对数据进行编码或解码。
 多行：将多行文本事件（如java异常和堆栈跟踪消息）合并到单个事件中。

有关可用编解码器的更多信息，请参阅编解码器插件。

---

执行模式：

Logstash事件处理管道协调输入，过滤器和输出的执行。

Logstash管道中的每个输入阶段都在其自己的线程中运行。输入将事件写入常见的Java SynchronousQueue。此队列不包含事件，而是将每个推送的事件传送给空闲的工作人员，如果所有工作人员都忙，则会阻塞。每个管道工作线程从该队列中取一批事件，为每个工作人员创建一个缓冲区，通过配置的过滤器运行一批事件，然后通过任何输出运行过滤的事件。批处理的大小和管道工作线程的数量是可配置的（请参阅调整和分析Logstash性能）。

默认情况下，Logstash在流水线阶段（输入→过滤器和过滤器→输出）之间使用内存有界队列来缓冲事件。如果Logstash不安全地终止，则存储在内存中的任何事件都将丢失。为防止数据丢失，您可以启用Logstash将正在进行的事件保存到磁盘。请参阅持久队列了解更多信息。

---

设置和运行Logstash

在阅读本节之前，请参阅安装Logstash以获取基本安装说明以帮助您入门。

本节包含有关如何设置和运行Logstash的其他信息，其中包括：

Logstash Directory Layout
Logstash Configuration Files
Settings File
Running Logstash from the Command Line
Running Logstash as a Service on Debian or RPM
Running Logstash on Docker
Logging
Persistent Queues
Shutting Down Logstash