flink 通过继承RichSinkFunction实现自定义sink,将数据录入数据库

最新推荐文章于 2024-12-11 16:04:16 发布

congtuo7221

最新推荐文章于 2024-12-11 16:04:16 发布

阅读量7.6k

点赞数

文章标签：大数据数据库 java

本文介绍如何在Flink中通过继承RichSinkFunction来创建自定义的数据库sink，将流处理数据高效地写入数据库。

摘要由CSDN通过智能技术生成

//主类
package flink.streaming
import java.util.Properties
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction
import org.apache.flink.streaming.api.CheckpointingMode
object StreamingTest {
  def main(args: Array[String]): Unit = {
    val kafkaProps = new Properties()
    //kafka的一些属性
    kafkaProps.setProperty("bootstrap.servers", "bigdata01:9092")
    //所在的消费组
    kafkaProps.setProperty("group.id", "group2")
    //获取当前的执行环境
    val evn = StreamExecutionEnvironment.getExecutionEnvironment
    //evn.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    //kaf