Apache Flink连载（二十四）：Apache Flink术语

于 2024-01-25 11:45:00 发布
阅读量214 收藏
点赞数
分类专栏： 大数据计算体系技术栈 Apache Flink 文章标签： apache flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135793377
版权
本文详细介绍了Apache Flink的核心概念，包括Application与Job、DataFlow数据流图、Subtask子任务与并行度以及Operator Chains算子链。Flink将批处理视为流处理的特例，其数据流分为无界流和有界流。一个Flink Application由Source、Transformation和Sink组成，其中并行度可通过Operator、Execution Environment、Client和System层面设置。算子链能优化数据处理，减少延迟和提高吞吐量。在适当情况下，可通过禁用或定制算子链来优化性能。
摘要由CSDN通过智能技术生成

 

🏡 个人主页：IT贫道-CSDN博客

  🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. Application与Job

2. DataFlow数据流图

​​​​​​​3. Subtask子任务与并行度

​​​​​​​​​​​​​​4. Operator Chains 算子链

Flink计算框架可以处理批数据也可以处理流式数据，Flink将批处理看成是流处理的一个特例，认为数据原本产生就是实时的数据流

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IT贫道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Apache Flink 和 Apache Kafka 两者之间的集成架构 Flink and Apache Kafka: A Winning Partnership
程序员光剑
07-17 1645
作者：禅与计算机程序设计艺术 Apache Flink 和 Apache Kafka 是构建可靠、高吞吐量和低延迟的数据管道（data pipeline）的两个著名的开源项目。2019年4月，两者宣布合作共赢。在这次合作中，Apache Kafka 将提供强大的消息存储能力、Flink 将作为一个分布式数据流处理平台来对其进行实时计算和分
初识 Flink
qq_29342297的博客
12-14 233
Flink Flink 基本介绍 Flink概述 官网 分布式的计算引擎 支持批处理 ，即处理静态的数据集、历史的数据集 支持流处理 ，即实时地处理一些实时数据流 支持基于事件 的应用【比如说滴滴通过 Flink CEP 实现实时监测司机的行为流来判断司机的行为是否正当】 Apache Flink – Stateful Computations over Data Streams Stateful Computations over Data Streams ，即数据流上的有状态的计
flink基本原理
qq_38140936的博客
12-14 498
一、简介 开源流式处理系统在不断地发展，从一开始只关注低延迟指标到现在兼顾延迟、吞吐与结果准确性，在发展过程中解决了很多问题，编程API的易用性也在不断地提高。本文介绍一下 Flink 中的核心概念，这些概念是学习与使用 Flink 十分重要的基础知识，在后续开发 Flink 程序过程中将会帮助开发人员更好地理解 Flink 内部的行为和机制。 这里引用一张图来对常用的实时计算框架做个对比： ...
Flink架构
m0_61332144的博客
06-03 1972
一、Flink集群架构1.1 Flink架构模型主要包含四个不同的组件：作业管理器（JobManager）资源管理器（ResourceManager）任务管理器（TaskManager）分发器（Application）Flink首先是由Scala和Java实现的，所有的组件都会运行在jvm上，当flink集群启动的时候，首先会启动一个JobManager和一个或多个TaskManager。由client提交任务给JobManager，JobManager再调度任务到一个或多个TaskManager上，然后T
实时计算FLINK
weixin_45187652的博客
03-02 1144
前言： 今年阿里的实时计算峰值达到了破纪录的每秒40亿条记录，数据量也达到了惊人的7TB每秒，相当于一秒钟需要读完500万本《新华字典》。Flink的强悍之处，阿里屡试不爽 FIRST PART.什么是FLINK 1.1初识Flink 在德语中，Flink一词表示快速和灵巧，项目采用一只松鼠的彩色图案作为logo，这不仅是因为松鼠具有快速和灵巧的特点，还因为柏林的松鼠有一种迷人的红棕色，而Flink的松鼠logo拥有可爱的尾巴，尾巴的颜色与Apache软件基金会的logo颜色相呼应，也就是说，这是一只Ap
flink架构介绍
weixin_34143774的博客
12-17 193
前言 flink作为基于流的大数据计算引擎，可以说在大数据领域的红人，下面对flink-1.7的架构进行逻辑上的分析并和spark做了一些关键点的对比。 架构 如图1，flink架构分为3个部分，client，JobManager（简称jm）和TaskManager（简称tm）。client负责提交用户的应用拓扑到jm，注意这和spark的driver用法不同，flink的client只是单...
Flink入门：Flink架构介绍
李旭的博客
04-01 524
1、基本组件栈 了解Spark的朋友会发现Flink的架构和Spark是非常类似的，在整个软件架构体系中，同样遵循着分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。 Flink分为架构分为三层，由上往下依次是API&Libraries层、Runtime核心层以及物理部署层 API&Libraries层 作为分布式数据...
Apache-Flink
@xiao黑的博客
03-17 530
Apache-Flink 概述 Flink是构建在数据流之上地有状态计算地流计算框架 通常被人们理解为是第三代大数据分析方案 第一代-Hadoop的MapReduce(计算) Storm流计算(2014.9) 两套独立计算引擎 使用难度大 第二代-Spark RDD静态批处理(2014.2) DStream|Structured Streaming流计算 统一计算引擎 难度系数小 第三代-Fli...
Apache Flink
字节跳动 内推找我
11-02 2203
Apache Flink论文简读 Apache Flink™: Stream and Batch Processing in a Single Engine Flink不同于Spark的batch processing，它着眼于data streaming processing。它的输入可被看做一条无穷的stream，将函数应用到stream上，再输出。Flink底层是流式处理，延迟更小，但是在某...
Flink技术原理
05-10
华为教程，内容由浅入深，适合各个层次学习，欢迎大家讨论
flink架构设计与专业术语
03-24
Flink架构设计与专业术语是大数据处理领域中的关键知识点，主要关注Apache Flink这一流处理框架的内部结构、工作原理以及其特有的技术术语。Apache Flink是一个开源的流处理和批处理系统，它以实时计算为核心，具备...
Apache Flink 各项核心特性，与其它大数据引擎的优势比较
程序员光剑
07-27 1115
2020年是Apache Flink诞生的一年，Flink被国内多个大公司和金融机构采用。截至目前，Apache Flink已覆盖了五个主要的云服务平台，并于2021年7月发布1.12版，面向生产环境的稳定运行速度得到了保证。它是一个开源的分布式流处理框架，具有高容错性、可靠性、低延迟等特征，能够支持实时计算场景下的超大数据量、高吞吐量的数据处理需求。技术选型标准：无论是开源还是商用版本，Apache Flink都已经成为多家大厂领跑者之一。
企业级大数据处理实践——基于 Apache Flink
最新发布
程序员光剑
08-01 1823
大数据领域正在经历一个百花齐放、草木皆兵的阶段，而Apache Flink作为当下最热门的开源大数据计算框架正在吸引越来越多的企业用户，帮助他们快速构建大数据平台，提升效率和价值。本文将从基础知识出发，通过Flink平台的实践案例，帮助读者搭建起真正可用的企业级大数据平台，并理解其内部运行机制，进而运用到实际工作场景中，有效提升公司效率和产出。
Flink基础原理
zhangCheng的博客
11-15 1565
第二步,由flinkClient依据StreamGraph 进行优化,将数据不需要跨taskmanager进行分组聚合等操作的(One-to-One关系),比较简单的直接流向后一个算子的这种,合并成一个subtask。允许同一个job下的subtask(子任务,也就是分解出来的各个算子)可以共享slot,这样可以使得同一个slot运行整个job(每个task)的流水线（pipleline）、TaskManager最多能同时并发执行的任务是可以控制的，那就是3个,因为不能超过slot的数量。
Flink运行架构
serendipity
09-29 285
1. Flink运行时的组件 Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager） 任务管理器（TaskManager） 资源管理器（ResourceManager） 分发器（Dispatcher） 因为Flink是用于Java和Scala实现的，所以所有组件都会运行在Java虚拟机上 1.1 JobManager 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行 JobManager会先接
Flink基本架构
hellozhxy的博客
09-07 612
Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskManager。主要工作原理如下图 用户首先提交Flink程序到JobClient，经过JobClient的处理、解..
Flink架构浅析
sunyunjie361的专栏
02-24 258
Flink任务提交流程
Flink的基本概念与架构
风千里的博客
10-14 756
概述 Flink是构建在数据流之上的一款有状态计算框架。通常被人们称为第三代大数据分析方案。 第一代大数据处理方案：Hadoop Map Reduce 静态批处理 | Storm实时流计算，两套独立的计算引擎，开发难度大。 第二代大数据处理方案： Spark RDD静态批处理、Spark Streaming（DStream）实时流计算（实时性差），统一的计算引擎 难度小。 第三代大数据处理方案：A...
Apache Flink运维与实战探索：K8s集成与深度应用
Apache Flink运维和实战是一本由蔡芳芳主编的专业书籍，专为那些对Apache Flink有一定了解，希望将其应用于实际业务场景的开发者设计。Flink作为业界公认的优秀流计算引擎，它不仅仅局限于流处理，而是集成了流、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值