kafka作为flink输入源及输出源

最新推荐文章于 2024-06-15 01:43:56 发布

qq_38980688

最新推荐文章于 2024-06-15 01:43:56 发布

阅读量1k

点赞数 1

分类专栏：大数据系统文章标签： flink kafka

本文链接：https://blog.csdn.net/qq_38980688/article/details/105353836

版权

本文介绍了如何使用Flink作为数据处理引擎，从Kafka接收数据，进行转换操作后，将结果再次输出到Kafka。具体实现中，首先在Kafka创建了sourceTest和sinkTest主题，接着在Flink代码中配置这两个主题作为输入和输出源。

摘要由CSDN通过智能技术生成

flink的代码如下：（主要是接收kafka来的数据，然后做一些转换后，输出到kafka）

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer011, FlinkKafkaProducer011}

object kafkaInOut {

  def main(args: Array[String]): Unit = {

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    //读入数据
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "localhost:9092")
    properties.setProperty("group.id", "consumer-group")
    properties.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
    properties.setProperty("value.deserializer", "org.apache.kafka.common.seriali