go-stash 使用指南及最佳实践

最新推荐文章于 2024-08-12 08:35:34 发布

史舒畅Cunning

最新推荐文章于 2024-08-12 08:35:34 发布

阅读量258

点赞数 3

本文链接：https://blog.csdn.net/gitblog_00729/article/details/141080870

版权

go-stash 使用指南及最佳实践

go-stashgo-stash is a high performance, free and open source server-side data processing pipeline that ingests data from Kafka, processes it, and then sends it to ElasticSearch.项目地址:https://gitcode.com/gh_mirrors/go/go-stash

一、项目介绍

go-stash是一款高性能、免费、开源的服务器端数据处理管道工具，主要功能是从Kafka获取数据，按预设规则对数据进行处理，并将结果转发至Elasticsearch中存储。相比Logstash等同类工具，go-stash具有更高的数据吞吐量（大约是Logstash的五倍），并且其部署极为简便，仅需一个可执行文件即可完成。

此项目致力于提供一种高效的数据处理方案，适用于大规模日志或数据分析场景，特别适合于实时监控系统、日志分析平台以及其他大数据处理需求的应用环境。

二、项目快速启动

首次安装与编译

通过以下命令在本地环境中克隆项目并构建：

cd stash
go build stash.go

或者，您可以选择下载已编译好的二进制文件直接使用。

使用二进制文件运行

确保您拥有config.yaml配置文件，然后运行：

./stash -f etc/config.yaml

使用Docker容器

如果您选择了基于Docker的方式启动go-stash，需保证配置文件路径正确无误：

docker run -d -v `pwd`/etc:/app/etc kevinwan/go-stash

示例配置文件(`config.yaml`)

下面展示了一个典型的config.yaml配置示例：

Clusters:
  - Input:
      Kafka:
        Name: go-stash
        Brokers:
          - "172.16.48.41:9092"
          - "172.16.48.42:9092"
          - "172.16.48.43:9092"
        Topic: ngapplog
        Group: stash
        Conns: 3
        Consumers: 10
        Processors: 60
        MinBytes: 1048576
        MaxBytes: 10485760
        Offset: first
    Filters:
      - Action: drop
        Conditions:
          - Key: status
            Value: 503
            Type: contains
          - Key: type
            Value: "app"
            Type: match
        Op: and
      - Action: remove_field
        Fields:
          - message
          - source
          - beat
          - fields
          - input_type
          - offset
          - "@version"
          - _score
          - _type
          - clientip
          - http_host
          - request_time
    Output:
      ElasticSearch:
        Hosts:
          - "http://172.16.188.73:9200"