Flink加载数据源的五种方式(scala版)

东南枝上的大雄

已于 2022-10-09 21:41:42 修改

阅读量1.9k

点赞数

分类专栏： flink 文章标签： scala flink 开发语言

于 2022-10-07 22:47:30 首次发布

本文链接：https://blog.csdn.net/weixin_67766119/article/details/127200441

版权

本文详细介绍了使用Scala进行Flink数据源加载的五种方式，包括从集合、文件、Kafka、监控窗口及自定义数据源的加载，并提供了相应的控制台输出示例。

摘要由CSDN通过智能技术生成

1、从集合中加载数据源

使用 fromCollection() 方法将数据放入list中作为Flink的数据源

方式一：

def main(args: Array[String]): Unit = {
    // 创建flink环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    // 设置并行度
    env.setParallelism(2)

    var dataList = List(
      1,2,3,4,5,21,12,3445,65
    )


    // 加载数据源1  source  方式一
    val stream1: DataStream[Int] = env.fromCollection(dataList)

    // 控制台输出sink
    stream1.print()

    env.execute("source stu")
  }

}

控制台输出：

方式二：

创建样例类，使用 fromCollection() 方法将数据放入Seq序列中作为Flink的数据源

case class SensorReading(id:String,timestamp:Long,temperature:Double)

object SourceTest {
  def main(args: Array[String]): Unit = {
    // 创建flink环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    // 设置并行度
    env.setParallelism(2)

 
    var dataList2 = List(
      SensorReading("sensor_1",1665103420,38.1),
      SensorReading("sensor_4",1665103420,31.2),
      SensorReading("sensor_7",1665103420,15.4),
      SensorReading("sensor_9",1665103420,25.8)

    )



    // 加载数据源1
    val stream1: DataStream[SensorReading] = env.fromCollection(dataList2)


    // 控制台输出sink
    stream1.print()

    env

最低0.47元/天解锁文章