flume中 kafka sink flume自定义Interceptor实现消息分主题收集

最新推荐文章于 2023-12-18 16:18:10 发布

zyj_369

最新推荐文章于 2023-12-18 16:18:10 发布

阅读量335

点赞数 1

分类专栏： kafka flume 文章标签： flume kafka

本文链接：https://blog.csdn.net/weixin_46122692/article/details/109300380

版权

本文介绍了如何在Flume中创建自定义Interceptor，根据消息内容将数据发送到不同Kafka主题，包括配置文件设置、Kafka消费者准备、Flume启动和数据模拟等步骤。

摘要由CSDN通过智能技术生成

1、自定义 flume 拦截器类，并打jar包上传到 /flume/lib 下

我这里拦截器逻辑是：

flume收集到的消息包含 hello 的发送到 kafak bigdata主题
flume收集到的消息包含 hi 的发送到 kafak bigdata1主题

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/* 自定义flume 拦截器 */
public class KafkaSinkInterceptor implements Interceptor {
   

    /* 设置事件集集合 */
    private List<Event> events;

    /* 初始化 */
    @Override
    public void initialize() {
   
        events = new ArrayList<>();
    }

    @Override
    public Event intercept(Event event) {
   
        /* 获取单个事件的 header */
        Map<String, String> header = event.getHeaders();