Logstash【从无到有从有到无】【简介】【L1】Logstash简介

最新推荐文章于 2023-04-10 14:20:46 发布

琴韵

最新推荐文章于 2023-04-10 14:20:46 发布

阅读量176

点赞数

分类专栏： ELK 文章标签： ElasticSearch Logstash

70 篇文章 1 订阅

订阅专栏

1.Logstash简介

Logstash是一个开源数据收集引擎，具有实时流水线功能。Logstash可以动态统一来自不同来源的数据，并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化所有数据。

虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过广泛的输入，过滤和输出插件进行丰富和转换，许多本机编解码器进一步简化了摄取过程。Logstash利用更大量的数据来加速您的洞察力。

Elasticsearch的摄取主力等等

水平可扩展的数据处理管道，具有强大的Elasticsearch和Kibana协同作用

可插拔管道架构

混合，匹配和编排不同的输入，过滤器和输出，以便在管道协调中发挥作用

社区可扩展和开发人员友好的插件生态系统

提供超过200个插件，以及创建和贡献自己的灵活性

收集更多，这样你就可以了解更多。Logstash欢迎各种形状和大小的数据。

一切都开始了。

处理所有类型的日志记录数据
- 轻松地摄取大量的Web日志（如Apache）和应用程序日志（如log4j for Java）
- 捕获许多其他日志格式，如syslog，网络和防火墙日志等
使用Filebeat享受互补的安全日志转发功能
通过TCP和UDP 从Ganglia，collectd， NetFlow，JMX以及许多其他基础架构和应用程序平台收集指标

打开万维网

将HTTP请求转换为事件
- 从Twitter等网络服务消费中获取社交情绪分析
- Webhook支持GitHub，HipChat，JIRA和无数其他应用程序
- 启用许多Watcher警报用例
通过按需轮询HTTP端点来创建事件
- 通用从Web应用程序界面捕获运行状况，性能，指标和其他类型的数据
- 适用于轮流控制优先于接收的场景

从您已拥有的数据中发现更多价值。

探索广泛的其他数据。

数据越好，知识越好。在摄取期间清理和转换数据，以便在索引或输出时间立即获得近实时洞察。Logstash开箱即用，包含许多聚合和突变，以及模式匹配，地理映射和动态查找功能。

Grok是Logstash过滤器的基础，并且无处不在地用于从非结构化数据中获取结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其他类型的事件格式。
通过从IP地址解析地理坐标，规范日期复杂性，简化键值对和 CSV数据，指纹识别（匿名化）敏感信息，以及使用本地查找或Elasticsearch 查询进一步丰富数据，扩展您的视野。
编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。