flink连接kafka

最新推荐文章于 2024-12-24 13:48:31 发布

yueWang_blog

最新推荐文章于 2024-12-24 13:48:31 发布

阅读量3.9k

点赞数 1

文章标签： kafka flink

本文链接：https://blog.csdn.net/yueWang_blog/article/details/104396517

版权

本文档详细介绍了如何启动Zookeeper和Kafka，包括创建Kafka topic，设置生产者，以及在Flink中使用KafkaSource进行数据传输。在配置过程中遇到了kafka-clients依赖问题，通过导入特定版本jar包得以解决。

摘要由CSDN通过智能技术生成

1.启动zookeeper
在cmd中输入zkserver，成功启动页面如下：
在这里插入图片描述
2.启动kafka
2.1启动
打开cmd，切换到D:\profession\kafka\kafka_2.11-2.4.0，输入

.\bin\windows\kafka-server-start.bat .\config\server.properties

显示的信息如下，则表示正常运行
在这里插入图片描述
2.2 创建topic
在D:\profession\kafka\kafka_2.11-2.4.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wc10

2.3创建生产者
在D:\profession\kafka\kafka_2.11-2.4.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-producer.bat --broker-list localhost:9092 --topic wc10

等待输入。

3.启动flink
主类KafkaSource代码如下：

package cn.doit.flink.test02;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

/**
 * 从kafka中读取数据的Source，可以并行的Source，并且可以实现ExactlyOnce
 */
public class KafkaSource {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        Properties properties = new Properties();

        //指定kafka的Broker地址
        properties.setProperty("bootstrap.servers","localhost:9092");
        //指定组ID
        properties.setProperty("group.id","gwc10");
        //如果没有记录偏移量，第一次从最开始消费
        properties.setProperty("auto.offset.reset","earliest");
        //kafka的消费者不自动提交偏移量
        //properties.setProperty("enable.auto.commit","false");


        //kafkaSource
        FlinkKafkaConsumer<String> kafkaSource = new FlinkKafkaConsumer<String>("wc10", new SimpleStringSchema(), properties);

        DataStreamSource<String> lines = env.addSource(kafkaSource);

        /

最低0.47元/天解锁文章