Logstash介绍（翻译）

Logstash介绍（翻译）

原文链接：https://www.elastic.co/guide/en/logstash/current/introduction.html#introduction
Logstash是一个开源的数据收集引擎，具有及时管道功能。Logstash可以动态统一不同的数据源并且将数据规范成你想要的格式。清理和定制化你的所有数据来进行下游分析和数据库可视化。
Logstash推动了日志收集的革新，他的拓展场景会超过现在的用例。在本地的编译器可以简化获取进程的过程下，一种事件可以通过广泛的输入数组、过滤器和输出插件来丰富和转化。Logstash通过利用各种各样的大量数据让你大开眼界。

Logstash的能力

Elasticsearch等的获取主力。

和强大的Elasticsearch以及Kibana协同作用成为处理水平拓展数据处理的管道。

可插拔的管道架构。

混合、关联和编排不同的输入、过滤器和输出来构建一个和谐的管道。

社区可拓展的和对开发者友好的插件系统。

通过两百多个插件，你可以增加创建和增加你自己的插件的灵活性。

Logstash喜爱数据

收集更多，所以你才能知道更多。Logstash欢迎所有类型和大小的数据。

日志和指标

从哪里开始。

处理所有类型的日志数据

        很容易获取众多像Apache一样的web日志数据或者像log4j一样的应用程序日志。

        捕获许多其它日志格式，比如系统日志、网络日志、防火墙日志等等。

使用Filebeat享受安全日志转发功能。

从基于TCP和UDP的Ganglia、collectd、NetFlow、JMX和许多架构和应用平台收集指标。

Web

解锁万维网

将Http请求转化为事件

       消费很火的web服务如twitter等来进行社会情绪分析

       对Github、HipChat、JIRA和其他无数应用提供Webhook服务。

       很多监控报警的功能

根据需求通过轮询http端点创建事件

       通常从web应用接口抓住健康、性能、指标和其它类型的数据。

       完美地符合抓取优先于接受的场景

数据存储和流

从你已经拥有的数据中发现更多价值

       用JDBC接口更好地理解你的关系型数据库和非关系型存储中的数据。

       统一来自诸如阿帕奇kafka、RabbitMQ和Amazon SQS的多样的数据流。

传感器和物联网

探索其它的维度的数据

       在这个技术进步的时代，庞大的物联网世界释放了无尽的用了通过从互联的传感器中抓取和驾驭的数据。

       Logstash是通用的事件收集支柱来获取数据：从移动设备到智能家居，到互联的交通工具、健康管理的传感器和许多其它特定的工业应用等。

容易丰富一切：

       数据越好、知识越好。在从索引或者在output时获取最近的实时视界中会清理和转化你的数据。Logstash具有开箱即用的功能进行聚合和突变，还有模式匹配、geo映射以及动态查询的功能。

       Grok是Logstash过滤器中的基础，广泛用于从非结构化数据中导出数据。享受旨在解决web、系统、网络和其它事件格式类型的集中模式。

       通过从IP地址中解码出geo坐标、归一化数据的复杂性、简化键值对和csv数据、匿名化敏感信息来拓展你的视野，并且更好地用本地查询和Elasticsearch查询来丰富你的数据。

       编译器经常被用来简化诸如JSON和变异事件的通用事件结构的处理。