【实战】Flink实时同步mysqlbinlog批量写数据到kudu

最新推荐文章于 2024-08-07 09:32:12 发布

槐序i

最新推荐文章于 2024-08-07 09:32:12 发布

阅读量960

点赞数

分类专栏： kudu flink

本文链接：https://blog.csdn.net/spark9527/article/details/118796017

版权

本文详细介绍了如何使用Flink实现实时从MySQL binlog中读取数据，并将这些数据批量写入Kudu的过程。通过实例操作，讲解了相关配置和工具的使用，提供了一种高效的数据同步方案。

摘要由CSDN通过智能技术生成

package risen.source

import java.util
import java.util.Properties
import com.google.gson.JsonObject
import com.google.gson.JsonParser
import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.CheckpointingMode
import org.apache.flink.streaming.api.datastream.{DataStream, DataStreamSource, SingleOutputStreamOperator}
import org.apache.flink.streaming.api.environment.{CheckpointConfig, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
import org.apache.kudu.client.SessionConfiguration.FlushMode
import org.apache.kudu.client._
import risen.util.ParameterToolUtil
import scala.collection.JavaConversions._

object KafkaSource {

  def main(args: Array[String]): Unit = {
    //配置环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //全局参数
    val parameterTool: ParameterTool = ParameterToolUtil.getParameter
    env.getConfig.setGlobalJobParameters(parameterTool)
    enableCheckPoint(env)
    //kafka消费者
    val consumer: