极速精简 Go 版 Logstash

最新推荐文章于 2024-09-07 08:53:35 发布

kevwan

最新推荐文章于 2024-09-07 08:53:35 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/jfwan/article/details/115452354

版权

本文介绍了Go生态中的一个Logstash替代组件，该组件在节省服务器资源方面表现出色，比原版Logstash节省2/3。文章详细阐述了其整体架构、启动流程、MessageHandler的数据过滤和转换，以及数据流的流动机制。该项目可在GitHub上找到，有兴趣的读者可以尝试使用或了解其实现细节。

摘要由CSDN通过智能技术生成

前言

今天来介绍 go-zero 生态的另一个组件 go-stash。这是一个 logstash 的 Go 语言替代版，我们用 go-stash 相比原先的 logstash 节省了2/3的服务器资源。如果你在用 logstash，不妨试试，也可以看看基于 go-zero 实现这样的工具是多么的容易，这个工具作者仅用了两天时间。

整体架构

先从它的配置中，我们来看看设计架构。

Clusters:
  - Input:
      Kafka:
        # Kafka 配置 --> 联动 go-queue
    Filters:
        # filter action
      - Action: drop            
      - Action: remove_field
      - Action: transfer      
    Output:
      ElasticSearch:
        # es 配置 {host, index}

看配置名：kafka 是数据输出端，es 是数据输入端，filter 抽象了数据处理过程。

对，整个 go-stash 就是如 config 配置中显示的，所见即所得。