在idea中配置生产者与消费者以及传数据到hdfs上

最新推荐文章于 2024-01-07 22:30:09 发布

strugglejiaxin

最新推荐文章于 2024-01-07 22:30:09 发布

阅读量249

点赞数

本文链接：https://blog.csdn.net/strugglejiaxin/article/details/102565642

版权

本文介绍了如何在IntelliJ IDEA中实现Kafka的生产者和消费者应用，并讲解了如何将数据传送到HDFS。首先，通过在pom.xml文件中添加相关依赖来初始化项目。接着，详细展示了消费者ConsumerDemo和生产者ProducerDemo的代码实现。

摘要由CSDN通过智能技术生成

1、将生产者和消费者用代码在idea中实现

（1）添加依赖，pom.xml

 <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.12</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.2.0</version>

（2）消费者ConsumerDemo

package com.zpark.kafka;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Collections;
import java.util.Properties;

public class ConsumerDemo {
    private static KafkaConsumer<String, String> consumer;
    private static Properties props;

    static {