Logstash 参考指南（Logstash介绍）

Logstash介绍

Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为你选择的目的地，清理和大众化你的所有数据，用于各种高级下游分析和可视化用例。

虽然Logstash最初推动了日志收集方面的创新，但是它的功能远远超出了这个用例，任何类型的事件都可以通过大量的输入、过滤器和输出插件来丰富和转换，使用许多原生编解码可以进一步简化摄取过程。Logstash通过利用大量和多种数据来提高你的洞察力。

Logstash的力量

用于Elasticsearch和更多的镊取工作

具有增强Elasticsearch和Kibana协同的水平可伸缩数据处理管道

可插入管道架构

混合、匹配和编排不同的输入、过滤器和输出，使之在管道中和谐运行

社区可扩展和开发者友好的插件生态系统

超过200个插件，加上创建和贡献你自己的灵活性

Logstash喜欢数据

收集更多，这样你就能知道更多，Logstash欢迎各种形式和大小的数据。

日志和指标

这里是一切开始的地方

• 处理所有类型的日志数据

  • 很容易摄取大量的web日志（如Apache）和应用程序日志（如Java的log4j）
  • 捕获许多其他日志格式，如syslog、网络和防火墙日志等等
• 使用Filebeat享受互补的安全日志转发功能
• 从Ganglia、collectd、NetFlow、JMX收集指标，和许多其他基础设施，以及TCP和UDP上的应用程序平台

网络

解锁万维网

• 将HTTP请求转换为事件

  • 使用像Twitter这样的web服务防火墙进行社交情绪分析
  • 对GitHub、HipChat、JIRA和无数其他应用程序的Webhook支持
  • 支持许多监控用例

• 根据需要通过轮询HTTP端点创建事件

  • 普遍地从web应用程序接口捕获健康、性能、指标和其他类型的数据
  • 更适合于轮询控制而不是接收的场景

数据存储和流

从你已经拥有的数据中发现更多的价值。

• 更好地理解来自任何关系数据库或具有JDBC接口的NoSQL存储的数据
• 统一不同的数据流，如Apache Kafka、RabbitMQ和Amazon SQS

传感器和物联网

探索其他数据的广度

• 在这个技术进步的时代，庞大的物联网世界通过捕获和利用连接传感器的数据，释放出无穷无尽的用例
• Logstash是一个常见的事件收集主干，用于从移动设备发送数据到智能住宅、连接的车辆、医疗传感器和许多其他行业特定的应用程序

轻松充实一切

数据越好，知识就越好，在摄取数据时进行清理和转换，以便在索引或输出时立即获得接近实时的信息，Logstash具有许多聚合和变体，以及模式匹配、geo映射和动态查找功能。

• Grok是Logstash过滤器的基础，它被广泛地用于从非结构化数据派生结构，享受大量集成模式，以帮助快速解决web、系统、网络和其他类型的事件格式。
• 通过破译IP地址的地理坐标来扩展你的视野，规格化时间复杂性，简化键值对和CSV数据，指纹（匿名）敏感信息，并通过本地查找或Elasticsearch查询进一步丰富你的数据。
• Codecs通常用于简化处理像JSON和多行事件这样的公共事件结构。

请参阅转换数据，以了解一些流行的数据处理插件的概述。

选择你的存储

将数据路由到最重要的地方，通过存储、分析和对数据采取行为，解锁各种下游分析和操作用例。

分析

• Elasticsearch
• 数据存储，如MongoDB和Riak

归档

• HDFS
• S3

监控

• Nagios
• Ganglia
• Zabbix
• Graphite
• Datadog
• CloudWatch

提醒

• 使用Elasticsearch Watcher
• Email
• Pagerduty
• IRC
• SNS