Flink-以 kafka 消息队列的数据

文章讲述了在使用尚硅谷教程中的Java代码在Idea中通过Flink消费Kafka消息时遇到的问题,发现生产者不需要`group.id`配置,注释掉相关代码后,成功接收到Kafka消息。
摘要由CSDN通过智能技术生成
在学习尚硅谷的代码时,在虚拟机用kafka创建生产者,发现在生产者内输入内容时,Idea里收不到消息
创建kafka生产者命令如下,采用broker和bootstrap命令方式均可(在kafka安装包目录下)
bin/kafka-console-producer.sh --broker-list master:9092 --topic clicks
bin/kafka-console-producer.sh --bootstrap-server master:9092 --topic clicks
Idea里的Flink代码如下
package com.atguigu.chapter05

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

import java.util.Properties

object SourceKafkaTest {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)


    //用Properties保存kafka连接的相关配置
    val properties = new Properties()

    properties.setProperty("bootstrap.servers","master:9092")
    properties.setProperty("group.id","test-consumer-group")

    val stream:DataStream[String] = env.addSource(new FlinkKafkaConsumer[String]("clicks", new SimpleStringSchema(), properties))

    stream.print()

    env.execute()

  }

}

经排查,代码里的group.id是kafka消费者才有的模块,只要把这一行代码注释即可接收到消息

//properties.setProperty("group.id","test-consumer-group")

注释后Idea里运行代码即可成功收到消息

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值