flink 多流join 触发时机详解

最新推荐文章于 2023-08-10 16:05:15 发布
最新推荐文章于 2023-08-10 16:05:15 发布
阅读量5k 收藏 16
点赞数 3
文章标签： 大数据 scala java
原文链接：https://my.oschina.net/u/2969788/blog/3082677
版权

flink 多流join 触发时机详解

    flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示例将详述join在不同时间下的触发过程.

join+window+processtime

代码


import java.text.SimpleDateFormat

import cn.chinaunicom.ops.common.Utils
import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.assigners.{TumblingEventTimeWindows, TumblingProcessingTimeWindows}
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.util.Collector


/**
  * @Auther: huowang
  * @Date: 14:15 2019/08/02
  * @DES: 演示 flink join window在不同时间条件下的触发
  *      flink 版本1.7 scala 2.11
  *      环境介绍 通过flink监听虚拟机192.168.217.128两个网络端口 9000和9001
  *      之后通过 nc -lk 9000 命令向端口发送网络数据 发送格式为 字符串,时间戳
  *      例如 a1,1564713277270
  *          b1,1564713277270
  *       之后格式化字符串为二元组
  * @Modified By:
  */
object JoinTest {


  def main(args: Array[String]): Unit = {
//    if(args.length != 3){
//      System.err.println("缺少必要参数")
//      return
//    }
//    val hostname = args(0)
//    val port1 = args(1).toInt
//    val port2 = args(2).toInt
    val hostname ="192.168.217.128"
    val port1 = 9000
    val port2 = 9001

    //指定运行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)
    // 接入两个网络输入流
    val a = env.socketTextStream(hostname, port1)
    val b = env.socketTextStream(hostname, port2)

    //将字符串转换成二元组
    val as = a.map(x=>{
      println("a=>"+x+",时间=>"+Utils.getStringDate3(x.split(",")(1).toLong))
      ("key",x.split(",")(0),x.split(",")(1).toLong)
    })
//      .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[(String, String, Long)](Time.seconds(1)) {
//      override def extractTimestamp(t: (String, String, Long)): Long = t._3
//    })

    val bs = b.map(x=>{
      println("b=>"+x+",时间=>"+Utils.getStringDate3(x.split(",")(1).toLong))
      ("key",x.split(",")(0),x.split(",")(1).toLong)
    })
//      .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[(String, String, Long)](Time.seconds(1)) {
//      override def extractTimestamp(t: (String, String, Long)): Long = t._3
//    })

    val joinedStreams = as
      .join(bs)
      .where(_._1)
      .equalTo(_._1)
      .window(TumblingProcessingTimeWindows.of(Time.seconds(10)))
      .apply{
        (t1 : (String,String, Long), t2 : (String,String, Long), out : Collector[(String,String, Long,Long)]) =>
          println("t1=>"+t1+",时间=>"+Utils.getStringDate3(t1._3))
          println("t2=>"+t2+",时间=>"+Utils.getStringDate3(t2._3))
            // 直接拼接到一起
            out.collect((t1._2,t2._2,t1._3,t2._3))
      }.name("joinedStreams")

    // 结果输出
    joinedStreams.print()
    // 执行程序
    env.execute("joinedStreams")

  }

}

前提我们的三元组 ("key",string,st),的第一个元素是固定的,并且我们的join条件就是第一个元素

不触发的情况,key不相等,和明显这种情况在上述代码中不存在,因为key都是固定的

不触发的情况,a流和b流的速率不一样,没有数据可以落到同一个时间窗口上,我们现在的时间窗口是30秒,如果我们调成3秒然后再Linux上向流中输入数据,手速慢一点,两个窗口的数据数据时间间隔 大于3秒,这样就不会触发计算 因为同一窗口内没有满足条件数据

触发的情况,key相等并且在同一时间窗口上有相关数据

join+window+eventtime

如果使用eventtime需要注意的事情比较多,否则会出现十分诡异的不触发计算的情况,直接看如下示例代码

package cn.chinaunicom.ops.test.flinkJoin

import java.text.SimpleDateFormat

import cn.chinaunicom.ops.common.Utils
import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.assigners.{TumblingEventTimeWindows, TumblingProcessingTimeWindows}
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.util.Collector


/**
  * @Auther: huowang
  * @Date: 14:15 2019/08/02
  * @DES: 演示 flink join window在不同时间条件下的触发
  *      flink 版本1.7 scala 2.11
  *      环境介绍 通过flink监听虚拟机192.168.217.128两个网络端口 9000和9001
  *      之后通过 nc -lk 9000 命令向端口发送网络数据 发送格式为 字符串,时间戳
  *      例如 a1,1564713277270
  *          b1,1564713277270
  *       之后格式化字符串为二元组
  * @Modified By:
  */
object JoinTest {


  def main(args: Array[String]): Unit = {
//    if(args.length != 3){
//      System.err.println("缺少必要参数")
//      return
//    }
//    val hostname = args(0)
//    val port1 = args(1).toInt
//    val port2 = args(2).toInt
    val hostname ="192.168.217.128"
    val port1 = 9000
    val port2 = 9001

    //指定运行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    env.setParallelism(1);
    // 这里 一定要设置 并行度为1
    // 接入两个网络输入流
    val a = env.socketTextStream(hostname, port1)
    val b = env.socketTextStream(hostname, port2)

    //将字符串转换成二元组
    val as = a.map(x=>{
      println("a=>"+x+",时间=>"+Utils.getStringDate3(x.split(",")(1).toLong))
      ("key",x.split(",")(0),x.split(",")(1).toLong)
    }).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[(String, String, Long)](Time.seconds(1)) {
      override def extractTimestamp(t: (String, String, Long)): Long = t._3
    })

    val bs = b.map(x=>{
      println("b=>"+x+",时间=>"+Utils.getStringDate3(x.split(",")(1).toLong))
      ("key",x.split(",")(0),x.split(",")(1).toLong)
    }).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[(String, String, Long)](Time.seconds(1)) {
      override def extractTimestamp(t: (String, String, Long)): Long = t._3
    })

       as
      .join(bs)
      .where(_._1)
      .equalTo(_._1)
      .window(TumblingEventTimeWindows.of(Time.seconds(3)))
      .apply{
        (t1 : (String,String, Long), t2 : (String,String, Long), out : Collector[(String,String, Long,Long)]) =>
          println("t1=>"+t1+",时间=>"+Utils.getStringDate3(t1._3))
          println("t2=>"+t2+",时间=>"+Utils.getStringDate3(t2._3))
            // 直接拼接到一起
            out.collect((t1._2,t2._2,t1._3,t2._3))
      }.name("joinedStreams")
      .map(x=>{
        println("结果输出=>"+x)
      })

    // 执行程序
    env.execute("joinedStreams")

  }

}

要触发eventtime window计算需要以下条件缺一不可

  1. env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 设置eventtime为flink时间特性
  2. 注册 数据中的时间戳为事件时间,注意这里必须数据本身当中包含时间戳,且必须是毫秒时间戳,不能是秒
  3. 同 processtime 必须关联key相等 并且在同一个时间窗口上有符合要求的两个流的数据
  4. 注意即使满足了上述3点,eventtime的window计算还是不会触发,因为eventtime 需要我们自己控制时间线,事件的水位线必须要大于window的end time才会触发计算,也就是说 如果你两个网络端口只各自模拟一条数据 是永远不会触发计算的,必须要有下一条满足条件的数据到达,并且把水位线升高到end time以上,才会触发计算,结合实际考虑 如果你的数据流数据不是连续到达或者中间有较大间隔,eventtime的滚动窗口可能不适合,因为"最后一个"window可能不能及时触发,注意需要join的两个流都有数据水位线高于window endtime才会触发
  5. 满足了上述4点 在本地调试的时候还是可能会触发不了window,这是为什么呢??!!!,因为如果本地idea环境下如果不设置并行度,会默认cpu的核数为并行度,这样流的数据可能被随机分配到不同的pipeline中去执行,因此匹配不到数据就无法满足window的触发条件,如果是产线环境我们势必要多并行,可以根据keyby,把目标数据分到同一个pipeline中

最终正常的调试结果

57b30094374a6b5a3185015244612920632.jpg

转载于:https://my.oschina.net/u/2969788/blog/3082677

chuya1943
关注
Flink intervalJoin 使用与原理分析
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 1054
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 在上一篇的分析【Flink DataStream中CoGroup实现原理与三种 join 实现】中基于DataStream的join只能实现在同一个窗口的两个数据流之间进行join, 但是在实际中常常是会存在数据乱序或者延时的情况，导致两个流的数据进度不一致，就会出现数据跨窗口的情况，那么数据就无
Flink数据流处理模型
最新发布
AI天才研究院
07-02 367
Flink数据流处理模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在大数据时代，数据的产生速度和规模都在迅速增长。传统的批处理系
Flink之join多流合并
热门推荐
蔡政洁的博客
03-25 1万+
目录（1）window多流合并（2）Window join（2.1）Tumbling Window Join详解（2.2）Sliding Window Join详解（2.3）Session Window Join详解（3）Interval join（4）几个流合并区别 （1）window多流合并 在Flink中支持窗口上的多流合并，即在一个窗口中按照相同条件对两个输入数据流进行关联操作，需要保证输入的Stream要构建在相同的Window上，并使用相同类型的Key作为关联条件。 （2）Window jo
基于开源的flink对其实时sql进行扩展；主要实现了流与维表的join
08-08
基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join
Flink Broadcast State实用指南
Matrix42
06-27 3561
从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。 什么是Broadcast State？ Broadcast State可用于以特定方式组合和联合处理两个事件流。第一个流的事件被广播到一个算...
Flink从入门到放弃—Stream API—Join实现（即多流操作）
京河小蚁的博客
11-12 1532
Flink DataStream API 为用户提供了3个算子来实现双流 join，分别是：1、join()；3、intervalJoin(), 另外其实还有两个算子，connect()和union()
flink 多流join相关总结
wppwpp1的专栏
01-29 1916
Flink怎么实现多个实时流的关联。官方文档，很多教程 给的Demo都是两个实时流的关联。 1. 分析业务数据源，很多需要多个流的join的场景 是伪命题，用union即可。 2. union + group by ，在基于key的流中可以取代join。优势： 在join 发生数据倾斜或者反压，很难 checkpoint时，用union可以回避这个问题。 3. 例如三个流join，可以 tempstream = stream1.join(stream2) ResultStream = te...
Flink之详解InnerJoin、leftJoin以及窗口延迟时间的问题
IT_但丁的博客
03-16 5164
文章目录以案例驱动对join的认知一、前提：二、InnerJoin代码 以案例驱动对join的认知 一、前提： 要想两个数据流进行Join，必须对两个流数据划分相同的窗口，在同一个窗口中，进行数据的Join连接。 这里使用EventTime，划分滚动窗口 二、InnerJoin代码 package cn._51doit.day10.join; import org.apache.flink....
Flink面试题
qq_34936033的博客
05-17 5038
关于spark和flink我可能会问这20个问题,当然并不是说简单回答一下就可以了,每一个题都可以引申很多问题,拿第一个问题来说,里面还有很多东西,比如spark的依赖关系是存在什么地方?RDD的宽窄依赖划分等? 因为你如果什么问题都问,问三天三夜都问不完,所以一定有针对性,而且后面一定会有模拟场景现场编程的问题,因为上面的问题都是偏原理的,你不会你也可以背下来,但是编程就考验你的真实水平了,比如给你一个实时计算的场景,让你写出主要的代码实现.这也是为什么我在星球里面很少分享原理性的东西,更多的怎么解决真实
Flink Checkpoint 详解
阳阳阳的博客
04-08 8610
Flink 多流转换 （四） 窗口联结（Window Join）
weixin_45417821的博客
04-19 2099
文章目录窗口联结的调用窗口联结实例 Flink 为这种场景专门提供了一个窗口联结（window join）算子，可以定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进行配对处理。类似于SQL中的Join 窗口联结的调用 窗口联结在代码中的实现，首先需要调用 DataStream 的.join()方法来合并两条流，得到一个 JoinedStreams；接着通过.where()和.equalTo()方法指定两条流中联结的 key；然后通过.window()开窗口，并调用.apply()传入联结
Flink-多流转换（合流，分流，双流join）
m0_46507516的博客
12-12 1794
Flink的合流、分流、以及双流join，广播流，测输出流各种流详解以及案例
Flink多流处理之join(关联)
AnameJL的博客
08-10 1016
join的使用
Flink SQL 如何实现数据流的 Join
数智技术
06-29 1676
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累 Join 的语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何
Flink Windows 多流 Join 和 SQL Join
技术大神之路
06-03 3555
Flink Windows Join 都是 Inner Join 两个流join时，先做join操作，形成JoinedStream，然后再指定Window，最后接着join后的transform操作。 案例： inputStream1:DataStream[(Long,String,Int)] = ... inputStream2:DataStream[(String,Long,Int)] = ... //通过DataStream Join方法将两个数据流关联 inputStream1.join(input
flinkSQL在做多流join的时候会出现retraction放大，如何解决？
qq_48918018的博客
10-22 402
flinkSQL在做多流join的时候会出现retraction放大，如何解决？
Flink SQL JOIN
qq_42575907的博客
05-26 1906
​ 注意我们这里 FOR SYSTEM_TIME AS OF 不是跟一个 processing time，而是左流的 event time，它的含义是去关联这个 event time 时刻 的 直 播 间 数 据 ， 同 时 我 们 在 直 播 间 u p s e r t 流 上 也 定 义 了 watermark，所以 temporal join changelog 在执行上会做 watermark 等待和对齐，保证关联上精确版本的结果，从而解决先前方案中关联不上的问题。
Flink-多流转换(Union、Connect、Join)
迷雾总会解
02-20 2871
对于连接流 ConnectedStreams 的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。关于两条流的连接，还有一种比较特殊的用法：DataStream 调用.connect()方法时，传入的参数也可以不是一个 DataStream，而是一个“广播流”（BroadcastStream），这时合并两条流得到的就变成了一个“广播连接流”（BroadcastConnectedStream）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值