Flink同步Kafka数据到Mysql(scala版)

最新推荐文章于 2024-11-07 13:52:41 发布

东南枝上的大雄

最新推荐文章于 2024-11-07 13:52:41 发布

阅读量1.3k

点赞数

分类专栏： flink 文章标签： kafka flink mysql

本文链接：https://blog.csdn.net/weixin_67766119/article/details/127196032

版权

该博客详细介绍了如何在Scala环境中配置和使用Flink从Kafka主题`sensor`中消费数据，并将这些数据实时同步到Mysql的`flinksink`数据库中的`sensor_temp`表。首先，博主提到了导入必要的库，然后创建了一个样例类。接着，展示了使用Flink连接Kafka和Mysql的代码实现。在实际操作中，启动了Kafka服务和生产者，同时在Mysql中创建了相应的数据库和表结构。最后，博主验证了数据同步的正确性，通过查询`sensor_temp`表确认了数据已被成功写入。

摘要由CSDN通过智能技术生成

导包

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
import org.apache.flink.streaming.api.scala._

import java.sql.{Connection, DriverManager, PreparedStatement}
import java.util.Properties

样例类

case class SensorReading(id:String,timestamp:Long,temperature:Double)

scala代码

object jdbcSinkTest {
  def main(args: Array[String]): Unit = {
    //创建处理流环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    //配置kafka信息
    val prop = new Properties()
    prop.setProperty("bootstrap.servers","192.1