kafka客户端工具_日志从Kafka到Loki的N种方式

最新推荐文章于 2024-07-09 08:06:52 发布

weixin_39706861

最新推荐文章于 2024-07-09 08:06:52 发布

阅读量469

点赞数

文章标签： kafka客户端工具

本文链接：https://blog.csdn.net/weixin_39706861/article/details/112076383

版权

本文介绍了如何使用Vector、Fluentd和Logstash将日志从Kafka迁移到Loki。分别阐述了各工具的优缺点、安装配置方法，并提供了性能对比。Vector以其轻量级和低资源消耗成为一种选择，而Fluentd和Logstash则更成熟，但资源消耗相对较高。

摘要由CSDN通过智能技术生成

云原生小白

看到上面蓝色字了么？关注下吧！

最近群里有小伙伴有说到自己的日志存储路径先是从客户端到Kafka，再通过消费kafka到ElasticSearch。现在要将ES换成Loki面临需要同时支持Kafka和Loki插件的工具。小白查了下当前市面上满足需求且足够可靠的工具分别为Fluentd、Logstash以及Vector。

Fluentd

CNCF已毕业的云原生日志采集客户端。与kubernetes结合比较紧密，插件丰富且有大厂背书。不足之处在于受ruby限制，在日志量大(建议使用FluentBit)时本身的资源消耗不小。

Logstash

ELK栈中老牌的日志采集和聚合工具，使用广泛且插件丰富，不足之处在于资源消耗整体比较高，单机日志并发处理效率不高。

Vector

刚开源不久的轻量级日志客户端，产品集成度比较高，资源消耗极低。不足之处就是当下产品似乎没有还没有广泛的最佳实践。

官方性能报告 https://vector.dev/#performance

以下是vector分别对上述产品做的一个性能测试对比，大家可以参考下：

Test	Vector	FluentBit	FluentD	Logstash
TCP to Blackhole	86mib/s	64.4mib/s	27.7mib/s	40.6mib/s
File to TCP	76.7mib/s	35mib/s	26.1mib/s	3.1mib/s
Regex Parsing	13.2mib/s	20.5mib/s	2.6mib/s	4.6mib/s
TCP to HTTP	26.7mib/s	19.6mib/s	<1mib/s	2.7mib/s
TCP to TCP	69.9mib/s	67.1mib/s	3.9mib/s	10mib/s

那么接下来进入主题吧，当我们需要将Kafka里的日志存进Loki时，我们有哪些方法实现，先来看个简单的?

Vector

Vector内部已经集成好了kafka和loki方法，我们只需下载vector和配置就能直接用起来。

安装vector

curl --proto '=https' --tlsv1.2 -sSf https://sh.vector.dev | sh

或者你可以直接使用docker镜像

docker pull timberio/vector:0.10.0-alpine

vector配置

[sources.in]
  bootstrap_servers = ""
  group_id = ""
  topics = ["^(prefix1|prefix2)-.+", "topic-1", "topic-2"]  \\topic名字，支持正则
  type = "kafka"

[sinks.out]
  endpoint = "http://" 
  inputs = ["in"]      \\source.in 
  type = "loki"
  labels.key = "value"  \\自定义key
  labels.key = "{{ event_field }}" \\event的动态值

关于vector-loki更多参数可以参考:https://vector.dev/docs/reference/sinks/loki/

Fluentd

Input - fluent-plugin-kafka

fluent-plugin-kafka插件是fluent的官方处理kafka的插件，可同时用于input和output两个阶段。它的安装方式如下：

gem install fluent-plugin-kafka

当它用于input阶段时，这时fluentd就会作为一个kafka的消费者，从指定的topic中取出消息并做相关处理，它的配置如下：


  @type kafka

  brokers  borker地址>topics format message_key add_prefix add_suffix

如果你想指定从不同topic的偏移量开始消费消息的话，就需要如下配置:


  @type kafka

  brokers   borker地址>format   topic     partition offset    topic     partition offset

熟悉fluentd的同学可能知道，在fluentd中是以tag名来处理pipeline的，默认情况下kafka插件会用topic名来做你tag名，如果你想做一些全局的filter可以添加tag前缀/后缀来全局匹配实现。

Output - fluent-plugin-grafana-loki

fluent-plugin-grafana-loki是grafana lab贡献的一个从fluentd发送日志到loki的插件。之前小白在《Loki和Fluentd的那点事儿》里介绍过，这里不过多展开。

配置直接从以前的文章中copy过来，主要的区别在于tag的匹配，参考如下：

 $kafka.topic>  \\此处为kafka的topic@type loki@id loki.outputurl "http://loki:3100"key1          \\如果你的日志json格式，那么你可以将需要提取key2          \\的字段作为你的loki labels label>@type filepath /var/log/fluentd-buffers/loki.bufferflush_mode intervalflush_thread_count 4flush_interval 3sretry_type exponential_backoffretry_wait 2sretry_max_interval 60sretry_timeout 12hchunk_limit_size 8Mtotal_limit_size 5Gqueued_chunks_limit_size 64overflow_action drop_oldest_chunk

Logstash

Input - logstash-input-kafka

logstash-input-kafka是elastic官方提供的kafka消费端插件，对于input阶段的配置也比较简单。

input {
    kafka {
        bootstrap_servers => ""
        topics => ""
        codec => ""
        tags => ""
        }
    }

更多的参数参考https://www.elastic.co/guide/en/logstash/7.10/plugins-inputs-kafka.html

Output - logstash-output-loki

logstash-output-loki也是由grafana lab贡献的用于处理往loki输出的logstash插件。安装时直接执行下列命令即可：

logstash-plugin install logstash-output-loki

logstash输出到loki的参数不多，小白捡主要的几个说明如下：

output {
  loki {
    url => "http:///loki/api/v1/push"
    batch_size => 112640 #单次push的日志包大小
    retries => 5
    min_delay => 3
    max_delay => 500
    message_field => ""
  }
}