将flume采集到的数据通过kafka上传到hdfs上

最新推荐文章于 2023-03-15 21:30:26 发布

strugglejiaxin

最新推荐文章于 2023-03-15 21:30:26 发布

阅读量647

点赞数

本文链接：https://blog.csdn.net/strugglejiaxin/article/details/102588175

版权

本文详细介绍了如何使用Flume从不同源头采集数据，然后通过Kafka中间件进行缓冲，最后将数据高效地上传到HDFS分布式文件系统的过程。主要涉及三个步骤：1) 在ConsumerDemo中实现文件上传的逻辑；2) 设计并配置定时任务以定期读取Kafka消息；3) 完成从临时目录到HDFS的数据迁移操作。

摘要由CSDN通过智能技术生成

1、在ConsumerDemo中上传文件

package com.zpark.kafka;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Collections;
import java.util.Properties;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class ConsumerDemo {
    private static KafkaConsumer<String, String> consumer;
    private static Properties props;

    static {
        props = new Properties();
        //消费者kafkka地址
        props.put("bootstrap.servers", "hdp3:9092");
        //key反序列化
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(&#