flink -- 合流

大数据领军人

已于 2024-09-27 19:46:59 修改

阅读量130

点赞数 3

文章标签： flink 大数据

于 2024-09-27 19:46:38 首次发布

本文链接：https://blog.csdn.net/m0_72566748/article/details/142600620

版权

一、基于时间的合流 -- 双流联结join

根据key进行合流相当于关系数据库中表的join操作。flink中两条流的connect操作，就可以通过keyby指定键进行分组后合并，实现类似sql的join

1.1 窗口join

要求：

1. 落在同一个时间窗口范围内才能匹配

2. 根据keyby的key来进行关联匹配

3. 只能拿到匹配上的数据，类似有固定时间范围的inner join

1.2 间隔联结(Interval join)

每一条数据自身都开辟一个区间，在对方的区间内进行查找

间隔联结在代码中是基于KeyedStream之后进行调用Interval join进行合并两条流

1. 只支持事件时间

2. 指定上界下界的便宜，符号代表往前往后

3. process中，只能处理join上的数据

4. 如果有吃到数据，两条流关联后的watermark，以两条流中最小的为准

5. 如果当前数据的事件时间 < 当前的watermark，就是迟到数据，主流的process不会处理。

=》 between后，将指定的左流或右流迟到的数据放入侧输出流

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据领军人

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Flink-基本的合流操作

勇敢牛牛，不怕困难！

12-23

977

💎💎💎💎💎在代码中，我们只要基于 DataStream 直接调用.union()方法，传入其他 DataStream 作为参数，就可以实现流的联合了；得到的依然是一个 DataStream：注意：union()的参数可以是多个 DataStream，所以联合操作可以实现多条流的合并。注意:对于合流之后的水位线，也是要以最小的那个为准数据类型不能改变 1.连接流（ConnectedStreams） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ejyQTMlQ

Flink-看完就会flink基础API

lydms的博客

10-20

1563

执行环境、数据源（source）、转换操作（transformation）、输出（sink）四大部分getExecutionEnvironment( )最简单的方式，就是直接调用 getExecutionEnvironment 方法。它会根据当前运行的上下文直接得到正确的结果：如果程序是独立运行的，就返回一个本地执行环境；如果是创建了 jar包，然后从命令行调用它并提交到集群执行，那么就返回集群的执行环境。也就是说，这个方法会根据当前运行的方式，自行决定该返回什么样的运行环境。这种“智能”的方式不需要我们

参与评论您还未登录，请先登录后发表或查看评论

Flink-05 流处理API

澜水清风的博客

06-28

Flink-05 流处理API1. Environment1.getExecutionEnvironment2.createLocalEnvironment3.createRemoteEnvironment2 . Source1.从集合读取数据2.从文件读取数据3.以kafka消息队列的数据作为来源4.自定义Source3 . Transform1.map2.flatmap3.filter4.keyby5.滚动聚合算子 (Rolling Aggregation)6.Reduce7.Split 和 Selec

Flink---分流

shall潇の菜园

07-06

507

Flink中将一个流拆分成多个流的方法有两个：split(已过时)，process（推荐）文章目录splitprocess split package Flink.transform; import Flink.beans.SensorReading; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; impor.

Flink-使用合流操作进行实时对账需求的实现

m0_46507516的博客

12-25

757

实时对账案例（合流操作，状态编程）

Flink-多流转换

m0_63475429的博客

10-19

488

无论是基本的简单转换和聚合，还是基于窗口的计算，我们都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分开，所以经常会有对多条流进行处理的场景。本章我们就来讨论 Flink 中对多条流进行转换的操作。简单划分的话，多流转换可以分为“分流”和“合流”两大类。

Flink-ScalaApi常规

shufangreal的博客

03-03

604

常用的Flink算子操作 Flink的所有聚合算子类似sum、reduce等都需要在keyby之后才能使用，因为Flink会讲相同的key进行hash，然后切分成不同的子任务进行并行执行，实际上是一种强制优化。所有的Flink的程序，都会有3个阶段的API： Source Transformation Sink 案例分析：如果又个需求，需要统计一些简单数据的和 /**演...

Flink-DataStream快速上手

qq_44002865的博客

10-11

3758

Flink的详细使用 1. 安装部署安装第一步：将 flink-1.10.1-bin-scala_2.12.tgz 上传到服务器中并解压缩第二步：修改 conf/flink-conf.yaml 文件 # 修改 jobmanager.rpc.address 参数，修改为 jobmanager 的机器 jobmanager.rpc.address: hadoop151 第三步：修改 conf/slaves 文件 # slave 机器 hadoop152 hadoop153 第四步：将

Flink-多流转换（合流，分流，双流join）

m0_46507516的博客

12-12

1743

Flink的合流、分流、以及双流join，广播流，测输出流各种流详解以及案例

Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 1

MiaoSO的博客

08-24

4056

Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲一、Flink 简介二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn 3.2.2 Session Cluster 3.2.3 Per Job Cluster

【Flink-1.17-教程】-【四】Flink DataStream API（6）转换算子（Transformation）【合流】

weixin_53543905的博客

01-24

825

在实际应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以 Flink 中合流的操作会更加普遍，对应的 API 也更加丰富。首先基于一条 DataStream 调用 .connect() 方法，传入另外一条 DataStream 作为参数，将两条流连接起来，得到一个 ConnectedStreams；然后再调用同处理方法得到 DataStream。这里可以的调用的同处理方法有 .map() / .flatMap()，以及 .process() 方法。

大数据_Flink_Java版_数据处理_流处理API_Transform(5)_connect合流---Flink工作笔记0033

添柴程序猿的专栏

03-03

229

上一节我们说了分流,然后这一节我们来说一下合流处理, 可以看到合流用到的是connect,就是把两个流,合成一个叫ConnectedSreams的流对吧,得到这个流以后,其实这个流,还是包含stream1,stream2这两个流的对吧. 然后我们在调用这个connectedStreams的ColFlatMap或者CoMap 来吧这两个流和在一起对吧,我们知道当我们把两个不同的流,这两个流的数据类型不一样, 合到一起的时候,合到一起的这个流,肯定是类型要一致了对吧. 然后我们...

Flink / Scala 实战 - 15.Stream 基本合流操作 - Union && Connect

BITDDD小栈

10-08

520

Flink 常规数据流合并，主要为 union、connect 与 BroadcastConnect。

SmallScorpion

05-25

515

map val streamMap = stream.map { x => x * 2 } flatMap flatMap的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B] 例如: flatMap(List(1,2,3))(i ⇒ List(i,i)) 结果是List(1,1,2,2,3,3), 而List(“a b”, “c d”).flatMap(line ⇒ line.split(" ")) 结果是List(a, b,

flink将窗口增量聚合算子和窗口全量聚合算子连用

javaMylife的博客

09-25

283

将滚动聚合窗口和全量聚合窗口连用，即利用了滚动聚合性能好，资源占用率低的优点，又能拥有全量窗口函数中的窗口信息，此时的迭代器中只有1条：当所有的数据reduce完成后在经过一次窗口函数，因此窗口全量聚合算子中只有一条reduce聚合后的数据。

【flink】之如何消费kafka数据并读写入redis？

最新发布

it_erge的博客

09-27

163

flink消费kafka数据进行redis读写

MySQL tinyint(1)类型数据在经过flink cdc同步到doris后只有0/1问题定位与解决

HumorChen的博客

09-23

672

随着深入核实SQL、查询条件、表数据发现，同步后的数据表里的一个status字段全是0和1，而源表中有0 1 2 3 4等多个数值，起初以为是status为内置关键词或者内置列问题，去doris官方文档里没有查到这个，随即看了下这个字段的定义，是tinyint(1)，于是我查看了名字为非关键词的同类型列，也出现了这个问题，同步后全是0和1，因此可以确认，tinyint(1)这个类型的字段从mysql使用flink cdc同步到doris会有问题。同步后的表里这个字段的值只有0和1了。mysql 数据类型。

大数据技术：Hadoop、Spark与Flink的框架演进

qq_22201881的博客

09-27

625

与Hadoop相比，Spark的改进主要有两点：● 易用性：比起MPI，MapReduce模型更友好，但仍然不够方便，因为并不是所有计算任务都可以简单拆分成map和reduce，有可能为了解决一个问题，要设计多个MapReduce任务，任务之间相互依赖，整个程序非常复杂，导致代码的可读性差。Spark的核心在于计算，主要目的在于优化Hadoop MapReduce计算部分，在计算层面提供更细致的服务，比如提供了常用几种数据科学语言的API，提供了SQL、机器学习和图计算支持，这些服务都是最终面向计算的。

flink-streaming

01-07

flink-streaming是一个基于Apache Flink的流处理平台，它提供了一套易于使用的界面和工具，用于管理和监控Flink作业的执行。通过flink-streaming，用户可以方便地提交、停止和监控Flink作业，以及查看作业的状态和日志。要使用flink-streaming，您可以按照以下步骤进行操作： 1. 下载flink-streaming平台：您可以从引用中提供的下载地址下载flink-streaming平台的压缩包（flink-streaming-platform-web(20210202).tar.gz）。 2. 解压缩压缩包：解压缩下载的压缩包，您将得到flink-streaming平台的文件夹。 3. 启动flink-streaming平台：进入解压缩后的文件夹，并按照平台的说明启动flink-streaming平台。具体的启动方式可以参考引用[2]中提供的文档。 4. 使用flink-streaming平台：一旦flink-streaming平台启动成功，您可以通过访问相应的URL来访问平台的界面。在界面上，您可以提交、停止和监控Flink作业，以及查看作业的状态和日志。请注意，flink-streaming是一个第三方开发的工具，它提供了对Flink作业的管理和监控的功能，但并不是Flink本身的一部分。因此，在使用flink-streaming之前，您需要先安装和配置Apache Flink。