以kafka做数据源，用flume作为消费者，将消费的数据放到HDFS上

最新推荐文章于 2023-09-07 14:49:45 发布

榴芒姐姐

最新推荐文章于 2023-09-07 14:49:45 发布

阅读量562

点赞数

文章标签： kafka flume 大数据 hdfs

本文链接：https://blog.csdn.net/alisa_ge/article/details/112910491

版权

本文档详细介绍了如何配置和操作一个Flume任务，该任务从Kafka作为数据源消费数据，并将这些数据写入HDFS。首先，在Flume自定义拦截器的Maven项目中创建TimeStampInterceptor，然后将其打包并放入Flume的lib目录。接着，配置Flume的sgapp_kafka_hdfs.conf文件，并在slave02上启动消费命令。最后，通过浏览器检查master01的HDFS上是否已存储了Flume事件。

摘要由CSDN通过智能技术生成

任务：在消费者端写一个时间戳拦截器

1.在之前自定义的flume生产者拦截器的maven项目中，新建一个class文件--TimeStampInterceptor

package cn.kgc.flume.interceptor;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.StandardCharsets;
import java.util.List;

public class TimeStampInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {
        String log = new String(event.getBody(), StandardCharsets.UTF_8);
        JSONObject jo = JSON.parseObject(log);
        if (jo.containsKey("eventTime")){
            event.getHeaders().put("timestamp",jo.getString("eventTime"));
        }
        return event;
    }

    @Override
    public List<Event&