Flume 之对接 Kafka

最新推荐文章于 2022-08-10 10:08:18 发布

weixin_49063354

最新推荐文章于 2022-08-10 10:08:18 发布

阅读量187

点赞数

分类专栏： kafka Flume 文章标签： flume kafka

本文链接：https://blog.csdn.net/weixin_49063354/article/details/108299261

版权

本文介绍了如何使用Flume对接Kafka，实现数据根据关键字（如'xiao', 'big'）进行分离，将不同类型的数据发送到Kafka的不同主题。步骤包括配置Flume拦截器，打包上传，配置Flume配置文件，创建Kafka主题，启动消费者，以及测试数据流向。" 80553213,1376846,阿里云数据盘分区与扩容指南,"['云存储', '磁盘管理', 'Linux系统', '阿里云', '文件系统']

摘要由CSDN通过智能技术生成

Flume 之对接 Kafka

数据分离

0）需求: 将flume采集的数据按照不同的类型输入到不同的topic中

将日志数据中带有 xiao 的，输入到Kafka的 xiao主题中，

将日志数据中带有 big 的,输入到Kafka的 big 主题中，

其他的数据输入到Kafka的 other 主题中

1）先导入 flume 的依赖

        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>

2）编写 Flume 的Interceptor

package com.xiaoxiao.flume;


import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;
import java.util.Map;

/**
 * Flume  拦截器
 * @author xiaohu
 * @create 2020-08-29 14:39
 */
public cla