Flink篇-架构设计介绍

最新推荐文章于 2024-07-22 07:15:00 发布
最新推荐文章于 2024-07-22 07:15:00 发布
阅读量241 收藏
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangzhigao886/article/details/114119761
版权

从架构的层面
分为无界流和有界流：
无界流数据：有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。
有界流数据：有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理
在这里插入图片描述

Flink提交任务流程图
在这里插入图片描述

被风吹过的回忆
关注
Flink系列：无界和有界数据流定义与区别
NIO4444
05-30 3497
有界流 有定义流的开始，也有定义流的结束。 有界流可以在摄取所有数据后再进行计算。 有界流所有数据可以被排序，所以并不需要有序摄取。 有界流处理通常被称为批处理 有界流，Flink则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。 无界流 有定义流的开始，但没有定义流的结束。 它们会无休止地产生数据。 无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。 ...
flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇
阿华田的博客
06-04 495
作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。
Flink的有界流和无界流
weixin_42796403的博客
03-01 611
Flink的两个小Demo 一、创建maven项目 POM文件中添加需要的依赖: <properties> <flink.version>1.12.0</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.11</scala.binary.version> <slf4j.version>1.
一文了解Flink数据-有界数据与无界数据
CainGao
02-25 2727
在常规的数据处理中，我们最常访问的可能是来自于Mysql，文本等存储介质中的数据，对其进行计算分析。但是现在也越来越的出现流式计算的场景，对于某些时刻产生的数据能够进行实时性的分析。例如天猫双十一实时大屏，实时异常行为检测等。 有界数据集 有界数据集对开发者来说都很熟悉，在常规的处理中我们都会从Mysql，文本等获取数据进行计算分析。我们在处理此类数据时，特点就是数据是静止不动的。也就...
flink介绍：有界流和无界流
学亮编程手记
09-21 465
日志：
大数据之无界数据流和有界数据流
wangxiaowu_001的博客
10-24 2443
无界流：有一个开始但是没有结束，不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据流通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。 有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。 ...
关于flink-sql-connector-phoenix的重写逻辑
击水三千里的专栏
08-15 972
这篇文章从软件设计架构师的角度深入剖析了一个基于 Flink 的自定义 Phoenix 连接器的实现过程，展示了如何在 Flink 中实现一个高效、可扩展的自定义连接器。
【Flink篇04】Flink运行时架构1
08-04
Flink作为一个强大的流处理框架，其运行时架构的设计是其高效稳定运行的关键。本文将深入探讨Flink运行时的四大核心组件：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager）以及...
Flink架构底层原理详解：案例解析（43天）
最新发布
syhiiu的博客
07-22 5562
本文主要详解了Flink架构，通过案例详解Flink流式开发，本地提交，阿里云平台提交。
物联网平台开发核心技术揭秘-架构设计篇
csdn681的博客
03-23 3338
物联网平台是实现物联网的核心组成部分。它是一个软件系统，用于管理设备、数据和应用程序。通过它，用户可以从设备中获取数据，并将其发送到其他设备或数据中心。物联网平台还能够控制设备，实现预定任务、自动化流程和报警等功能。感知层：包括各种传感器、监测器和执行器等设备，用于收集和控制数据。网络层：通过各种无线和有线网络将数据传输到物联网平台，同时也可将数据从平台传回设备。应用层：包括各种应用程序和服务，用于处理和解读数据。也可以加个管理层：负责管理设备、数据、安全和用户等方面。
flink是什么？以及批处理和流处理、有界流和无界流的区别？
m0_53396342的博客
04-13 2092
软件面试常见问题：flink是什么？以及批处理和流处理、有界流和无界流的区别？
Flink详解系列之二--核心概念
wr_java的博客
04-13 263
在重新分发数据的过程中，元素只有在每对输出和输入子任务之间才能保留其之间的顺序信息（例如，keyBy/window 的 subtask[2] 接收到的 map() 的 subtask[1] 中的元素都是有序的）。这意味着 map() 算子的 subtask[1] 输入的数据以及其顺序与 Source 算子的 subtask[1] 输出的数据和顺序完全相同，即同一分区的数据只会进入到下游算子的同一分区。顾名思义，无界数据流就是指有始无终的数据，数据一旦开始生成就会持续不断的产生新的数据，即数据没有时间边界。
flink教程：flink的有界、无界数据流、流批一体、容错能力等概念
学亮编程手记
08-30 1065
数据流：所有产生的数据都天然带有时间概念，把 事件 按照时间顺序排列起来，就形成了一个事件流，也被称作数据流。首先必须先明白什么是有界数据和无界数据有界数据，就是在一个确定的时间范围内的数据流，有开始，有结束，一旦确定就不会再改变，一般批处理 用来处理有界数据，如上图的 bounded stream。无界数据，就是持续产生的数据流，数据是无限的，有开始，无结束，一般流处理用来处理无界数据。如图 unbounded stream。Flink的设计思想是以流。
flink常见的算子
m0_47310235的博客
07-11 589
这个滑动窗口的意思是，在当前时间窗口内，每隔 5 秒钟计算最近 15 秒的数据，即每次计算最近 15 秒内的数据，计算完成后，窗口向右滑动 5 秒，开始计算最近 15 秒的数据，以此类推。在 reduce() 函数中，使用了一个匿名内部类实现 ReduceFunction 接口，其中的 reduce() 方法对输入元素进行聚合，将两个整数元素相加，并返回聚合结果。在 Flink 中，Filter 算子是一个数据流转换算子，用于过滤掉不符合条件的数据元素，并将满足条件的数据元素继续传递给下游算子进行处理。
Flink---1、概述、快速上手
星光不问赶路人，岁月不负有心人
09-04 845
Flink---1、概述、快速上手
Java修仙传之Flink篇
weixin_50914566的博客
10-26 348
有界流：数据结束了，程序也就结束了知道数据开始以及结束的地方。
二刷大数据（三）- Flink1.17
qq_58551342的博客
04-18 1396
通过算子链，多个算子的子任务（Subtask）可以共享同一个 Task Slot，避免了跨进程或跨网络的数据交换，减少了线程上下文切换、数据序列化/反序列化的开销，同时也降低了对系统资源的需求。如果作业的并行度大于可用的任务槽数量，部分子任务将在其他 TaskManager 的任务槽中执行，或者等待空闲的任务槽。综上所述，Flink 中的水位线是事件时间处理框架中不可或缺的一部分，它通过动态跟踪和传播事件时间的进展，解决了实时数据流中的乱序问题，确保了基于事件时间的窗口计算能够在合理的时间内准确完成。
Flink入门
weixin_65996579的博客
07-04 1329
Flink 入门介绍
Flink:史上最详细的介绍(二)[架构体系]
07-27 5274
2. Flink 架构体系 2.1 Flink 中的重要角⾊ JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。 TaskManager 处理器： 也称之为 Worker， 用于执行一个 dataflow 的 task(或者特殊的 subtas
Flink驱动的在线机器学习架构：实现实时流批一体
总结来说，本研究为大数据时代的在线机器学习提供了一个实用且高效的系统架构设计，通过Flink的实时计算能力，推动了机器学习的实时化和效率提升，对企业和开发者在构建实时智能应用时具有重要的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值