Flink实战实例（九）: Kafka 读写实现

王知无(import_bigdata)

已于 2022-06-30 22:01:25 修改

阅读量1k

点赞数 1

分类专栏： Flink系统性学习专栏文章标签： kafka flink 大数据

于 2021-01-19 19:36:50 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/112850432

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在Flink中实现Kafka的读取和写入，包括exactly once语义、自定义序列化类以控制流向不同topic、以及自定义分区器确保数据按照特定key发送。此外，还探讨了Flink读取Kafka时的自定义反序列化，特别是将数据反序列化为JSON格式的应用。

摘要由CSDN通过智能技术生成

1 工程目录结构

2 flink 读取 Kafka

package com.atguigu.day8

import java.util.Properties

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011
import org.apache.flink.streaming.util.serialization.SimpleStringSchema

object KafkaConsumerExample {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // kafka consumer config
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "localhost:9092")
    properties.setProperty("group.id", "consumer-group")
    properties.setProperty("key.deserializer", "org.apache.kafka.common.seria

了解本专栏