【Flink】双流处理:实时对账实现

更多内容详见:https://github.com/pierre94/flink-notes

一、基础概念

主要是两种处理模式:

  • Connect/Join
  • Union

二、双流处理的方法

Connect

DataStream,DataStream → ConnectedStreams

连接两个保持他们类型的数据流,两个数据流被Connect之后,只是被放在了一个同一个流中,内部依然保持各自的数据和形式不发生任何变化,两个流相互独立。

Connect后使用CoProcessFunction、CoMap、CoFlatMap、KeyedCoProcessFunction等API 对两个流分别处理。如CoMap:

val warning = high.map( sensorData => (sensorData.id, sensorData.temperature) )
val connected = warning.connect(low)

val coMap = connected.map(
warningData => (warningData._1, warningData._2, "warning"),
lowData => (lowData.id, "healthy")
)

(ConnectedStreams → DataStream 功能与 map 一样,对 ConnectedStreams 中的每一个流分别进行 map 和 flatMap 处理。)

疑问,既然两个流内部独立,那Connect 后有什么意义呢?

Connect后的两条流可以共享状态,在对账等场景具有重大意义!

Union


DataStream → DataStream:对两个或者两个以上的 DataStream 进行 union 操作,产生一个包含所有 DataStream 元素的新 DataStream。

val unionStream: DataStream[StartUpLog] = appStoreStream.union(otherStream) unionStream.print("union:::")

注意:Union 可以操作多个流,而Connect只能对两个流操作

Join

Join是基于Connect更高层的一个实现,结合Window实现。

相关知识点比较多,详细文档见: https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/operators/joining.html

三、实战:实时对账实现

需求描述

有两个时间Event1、Event2,第一个字段是时间id,第二个字段是时间戳,需要对两者进行实时对账。当其中一个事件缺失、延迟时要告警出来。

需求分析

类似之前的订单超时告警需求。之前数据源是一个流,我们在function里面进行一些改写。这里我们分别使用Event1和Event2两个流进行Connect处理。

// 事件1
case class Event1(id: Long, eventTime: Long)
// 事件2
case class Event2(id: Long, eventTime: Long)
// 输出结果
case class Result(id: Long, warnings: String)

代码实现

scala实现

涉及知识点:

  • 双流Connect
  • 使用OutputTag侧输出
  • KeyedCoProcessFunction(processElement1、processElement2)使用
  • ValueState使用
  • 定时器onTimer使用

启动两个TCP服务:

nc -lh 9999
nc -lk 9998

注意:nc启动的是服务端、flink启动的是客户端

import java.text.SimpleDateFormat

import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.co.KeyedCoProcessFunction
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}
import org.apache.flink.util.Collector

object CoTest {
  val simpleDateFormat = new SimpleDateFormat("dd/MM/yyyy:HH:mm:ss")
  val txErrorOutputTag = new OutputTag[Result]("txErrorOutputTag")


  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    env.setParallelism(1)

    val event1Stream = env.socketTextStream("127.0.0.1", 9999)
      .map(data => {
        val dataArray = data.split(",")
        Event1(dataArray(0).trim.toLong, simpleDateFormat.parse(dataArray(1).trim).getTime)
      }).assignAscendingTimestamps(_.eventTime * 1000L)
      .keyBy(_.id)

    val event2Stream = env.socketTextStream("127.0.0.1", 9998)
      .map(data => {
        val dataArray = data.split(",")
        Event2(dataArray(0).trim.toLong, simpleDateFormat.parse(dataArray(1).trim).getTime)
      }).assignAscendingTimestamps(_.eventTime * 1000L)
      .keyBy(_.id)

    val coStream = event1Stream.connect(event2Stream)
      .process(new CoTestProcess())

    //    union 必须是同一条类型的流
    //    val unionStream = event1Stream.union(event2Stream)
    //    unionStream.print()

    coStream.print("ok")
    coStream.getSideOutput(txErrorOutputTag).print("txError")

    env.execute("union test")
  }

  //共享状态
  class CoTestProcess() extends KeyedCoProcessFunction[Long,Event1, Event2, Result] {
    lazy val event1State: ValueState[Boolean]
    = getRuntimeContext.getState(new ValueStateDescriptor[Boolean]("event1-state", classOf[Boolean]))

    lazy val event2State: ValueState[Boolean]
    = getRuntimeContext.getState(new ValueStateDescriptor[Boolean]("event2-state", classOf[Boolean]))


    override def processElement1(value: Event1, ctx: KeyedCoProcessFunction[Long, Event1, Event2, Result]#Context, out: Collector[Result]): Unit = {
      if (event2State.value()) {
        event2State.clear()
        out.collect(Result(value.id, "ok"))
      } else {
        event1State.update(true)
        //等待一分钟
        ctx.timerService().registerEventTimeTimer(value.eventTime + 1000L * 60)
      }
    }

    override def processElement2(value: Event2, ctx: KeyedCoProcessFunction[Long, Event1, Event2, Result]#Context, out: Collector[Result]): Unit = {
      if (event1State.value()) {
        event1State.clear()
        out.collect(Result(value.id, "ok"))
      } else {
        event2State.update(true)
        ctx.timerService().registerEventTimeTimer(value.eventTime + 1000L * 60)
      }
    }

    override def onTimer(timestamp: Long, ctx: KeyedCoProcessFunction[Long, Event1, Event2, Result]#OnTimerContext, out: Collector[Result]): Unit = {
      if(event1State.value()){
        ctx.output(txErrorOutputTag,Result(ctx.getCurrentKey,s"no event2,timestamp:$timestamp"))
        event1State.clear()
      }else if(event2State.value()){
        ctx.output(txErrorOutputTag,Result(ctx.getCurrentKey,s"no event1,timestamp:$timestamp"))
        event2State.clear()
      }
    }
  }

}

相关阅读

《Flink状态编程: 订单超时告警》:
https://blog.csdn.net/u013128262/article/details/104648592

《github:Flink学习笔记》:
https://github.com/pierre94/flink-notes


原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

https://cloud.tencent.com/developer/article/1596145

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如今的大数据技术应用场景,对实时性的要求已经越来越高。作为新一代大数据流处理框架,由于非常好的实时性,Flink独树一帜,在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟,同时保证了数据处理的低延迟、高吞吐和结果的正确性,还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持,另外还可以进行状态管理,并提供了CEP(复杂事件处理)的支持。Flink实时分析领域的优势,使得越来越多的公司开始将实时项目向Flink迁移,其社区也在快速发展壮大。目前,Flink已经成为各大公司实时领域的发力重点,特别是国内以阿里为代表的一众大厂,都在全力投入,不少公司为Flink社区贡献了大量源码。如今Flink已被很多人认为是大数据实时处理的方向和未来,很多公司也都在招聘和储备了解掌握Flink的人才。本教程将Flink理论与电商数据分析项目实战并重,对Flink基础理论知识做了系统的梳理和阐述,并通过电商用户行为分析的具体项目用多个指标进行了实战演练。为有志于增加大数据项目经验、扩展流式处理框架知识的工程师提供了学习方式。二、教程内容和目标本教程主要分为两部分:第一部分,主要是Flink基础理论的讲解,涉及到各种重要概念、原理和API的用法,并且会有大量的示例代码实现;第二部分,以电商作为业务应用场景,以Flink作为分析框架,介绍一个电商用户行为分析项目的开发实战。通过理论和实际的紧密结合,可以使学员对Flink有充分的认识和理解,在项目实战中对Flink和流式处理应用的场景、以及电商分析业务领域有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。三、谁适合学1、有一定的 Java、Scala 基础,希望了解新的大数据方向的编程人员2、有 Java、Scala 开发经验,了解大数据相关知识,希望增加项目经验的开发人员3、有较好的大数据基础,希望掌握Flink及流式处理框架的求职人员

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值