Flink--Souce(自定义)

自定义Source

使用自定义的Source具体可以用在以下两个场景:

  1. 系统以及开发好了,但是没有足够数量的数据
  2. 没有具体的实现方法到数据源去读取数据
    此时就需要我们去实现一个自定义Sources

实现自定义Sources

需要:模拟温度传感器产生的数据

当所需sourceFunciton没有具体实现时,需要自定义:

class mySource() extends SourceFunction[SensorReading]{}

这里SourceFunction[T] 中传入的泛型为要发出参数的类型:
首先SourceFunction把这个泛型T传给 SourceContext [T],
然后再 SourceContext 的collet方法中发现 传入泛型T并把结果发送了出去

所以这里泛型设置为 SensorReading

因为SourceFunction是抽象类,所以要重写父类方法

cancel: 用于控制停止发送数据
run:生产或者读取数据 并通过SourceContext.collect发送出去。

Cancel

定义一个flag用于标识是否发送数据,然后当调用cancel就使其false

var running:Boolean = true
override def cancel(): Unit = running = false

Run

这里首先产生十个温度传感器的初始值

 val random = new Random()
    //获取初始数据
    val originData = 1.to(10).map(data => ("Sensor_"+data,random.nextDouble() * 100))

然后再初始值上加上高思函数偏移量用于模拟真实环境

val mapedData = originData.map(data => (data._1,data._2 + random.nextGaussian()))

然后保证成SensorReading类型发送出去

//获取时间戳
      val timeStamp = System.currentTimeMillis()

//发出数据
mapedData.foreach(data =>sourceContext.collect(SensorReading(data._1,timeStamp,data._2)))

因为需要源源不断发送,所以添加循环

override def run(sourceContext: SourceFunction.SourceContext[SensorReading]): Unit = {

    val random = new Random()
    //获取初始数据
    val originData = 1.to(10).map(data => ("Sensor_"+data,random.nextDouble() * 100))

    while(running){

    //添加偏移量
    val mapedData = originData.map(data => (data._1,data._2 + random.nextGaussian()))

    //获取时间戳
    val timeStamp = System.currentTimeMillis()

    //发出数据
    mapedData.foreach(data =>sourceContext.collect(SensorReading(data._1,timeStamp,data._2)))

    //添加睡眠时间
    Thread.sleep(100)
    }

完整代码

package com.erke

import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala._

import scala.util.Random


case class SensorReading(id:String,timeStamp:Long,temperature:Double)

class mySource() extends SourceFunction[SensorReading]{
  var running:Boolean = true
  override def cancel(): Unit = running = false

  override def run(sourceContext: SourceFunction.SourceContext[SensorReading]): Unit = {

    val random = new Random()
    //获取初始数据
    val originData = 1.to(10).map(data => ("Sensor_"+data,random.nextDouble() * 100))

    while(running){

      //添加偏移量
      val mapedData = originData.map(data => (data._1,data._2 + random.nextGaussian()))

      //获取时间戳
      val timeStamp = System.currentTimeMillis()

      //发出数据
      mapedData.foreach(data =>sourceContext.collect(SensorReading(data._1,timeStamp,data._2)))

      //添加睡眠时间
      Thread.sleep(100)
    }
  }
}

object soureApiTest {
  def main(args: Array[String]): Unit = {

    val env = StreamExecutionEnvironment.getExecutionEnvironment

    val mySouceDataStream = env.addSource(new mySource())

    mySouceDataStream.print()

    env.execute("SourceTest")
  }
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Flink自定义Sink和Source是指用户可以根据自己的需求,编写自己的数据源和数据输出方式。Flink提供了一些内置的Sink和Source,但是有时候用户需要根据自己的业务需求,自定义数据源和数据输出方式。 自定义Sink和Source需要实现Flink提供的接口,例如实现SinkFunction接口来自定义数据输出方式,实现SourceFunction接口来自定义数据源。用户可以根据自己的需求,实现这些接口,然后将自定义的Sink和Source应用到Flink程序中。 自定义Sink和Source可以帮助用户更好地满足自己的业务需求,提高数据处理的效率和准确性。 ### 回答2: Flink自定义Sink和Source方便开发人员根据特定业务需求定制化的数据输入和输出。这也是Flink作为DataStream处理引擎的一个强大特性。 自定义Sink的主要作用是将Flink处理的数据流输出到外部存储或处理系统中,如Kafka、Hadoop、Elasticsearch、MySQL等。通过自定义Sink,我们可以满足不同业务场景下,数据输出的不同需求。 自定义Sink的实现需要继承Flink提供的`RichSinkFunction`或者`SinkFunction`抽象类,并实现其抽象方法。`RichSinkFunction`中提供了一些状态管理的方法,如`open`、`close`等,我们可以在这些方法中添加额外的代码逻辑。自定义的SinkFunction可以重写invoke方法,将不需要状态管理的代码集中在此方法中。 自定义Source的主要作用是将外部数据源中的数据读取并发送给Flink的DataStream处理模块。自定义Source可以读取各种类型的数据源,如Kafka、文件、Socket等。 自定义Source的实现需要继承Flink提供的`RichParallelSourceFunction`或者`SourceFunction`抽象类,并实现其抽象方法。`RichParallelSourceFunction`中支持在并行算子中运行,因此对于大规模数据的处理尤为适合。 在自定义Source中,需要实现一个`run`方法和一个`cancel`方法。`run`方法中是数据源处理逻辑的主要实现,`cancel`方法用于停止数据源的读取。我们还可以通过Flink提供的Checkpoint机制来管理数据源。 总之,自定义Sink和SourceFlink处理数据流的重要特性,使得开发人员可以根据业务需求灵活定制化的输入输出逻辑。 ### 回答3: Flink是一个开源流式处理框架,它提供了丰富的内置Sink和Source,同时也支持用户自定义的Sink和Source,以便满足不同的业务需求。 自定义Sink可以用于将流式数据写入外部系统中,比如数据库、消息队列和文件系统等。Flink提供了一个简单的接口SinkFunction,通过实现该接口可以快速开发自己的Sink。 SinkFunction接口定义了一个抽象方法invoke(),该方法是在每个输入元素处理完成时被调用。开发者需要编写自己的业务逻辑,在invoke()中实现将数据写入目标系统的逻辑。 自定义Source可以用于从外部系统读取数据,并将其逐个交付给Flink程序进行处理。同样地,Flink也提供了一个简单的接口SourceFunction,通过实现该接口可以快速开发自己的SourceSourceFunction接口定义了两个抽象方法:run()和cancel()。run()方法是在源自生命周期内调用的,它是源自执行主逻辑的地方。cancel()方法是用于清理资源的。开发者需要在run()方法中编写从外部系统读取数据的逻辑,并且能够异步地产生数据,最后将数据通过SourceContext将数据一条一条源源不断地输出。 自定义Sink和SourceFlink框架中非常常用的一个扩展方式,它可以满足用户自定义的需求,在具体的业务场景中,能够灵活的使用自定义Sink和Source对数据的处理进行个性化的定制化。同时,自定义Sink和Source的开发也相对简单,可以通过实现简单的接口,快速完成自定义Sink和Source的开发。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值