【入门Flink】- 06Flink作业提交流程【待完善】

最新推荐文章于 2024-09-21 17:07:20 发布
最新推荐文章于 2024-09-21 17:07:20 发布
阅读量529 收藏 1
点赞数
分类专栏： flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43417581/article/details/134220570
版权
本文详细介绍了Standalone会话模式和Yarn应用模式下的作业提交流程，包括逻辑流图StreamGraph如何转化为JobGraph和ExecutionGraph，以及算子链优化在PhysicalGraph中的应用。
摘要由CSDN通过智能技术生成

Standalone 会话模式作业提交流程

image-20231104160143083

代码生成任务的过程：

逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→物理图（Physical Graph）。

image-20231104160542477

image-20231104160611213

作业图算子链优化，将多个算子合并成算子链

Yarn 应用模式作业提交流程

image-20231104160252361

不进大厂不改名二号
关注
专栏目录
flink-1.14.0-bin-scala_2.11.tgz
07-18
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **提交作业**：通过`bin/flink run`命令提交用户定义的Flink程序。 6. **监控与调试** - **Web UI**：Flink提供了一个Web界面，用于查看任务状态、日志和监控性能指标。 - **REST API**：允许通过HTTP接口与...
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
05-21
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...
flink-connector-hive-2.12-1.13.1.jar
03-15
flink-connector-hive_2.12-1.13.1.jar 是 Apache Flink 的一个 Hive 连接器 JAR 包，用于在 Flink 中与 Apache Hive 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 ...
flink on k8s
JavaCoder_juejue的博客
09-15 1429
echo "示例: $0 'k8s01 k8s02 k8s03 k8s04 k8s05' /path/to/file /remote/directory"echo "示例: $0 'k8s01 k8s02 k8s03 k8s04 k8s05' 'cd /aaa/bbb;echo "正在将文件 $SOURCE_FILE 传输到 $SERVER:$REMOTE_DIR..."echo "用法: $0 '服务器列表' '要传输的文件路径' '远程目标目录'"echo "用法: $0 '主机列表' '命令列表'"
Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性
大模型大数据攻城狮的专栏
09-18 672
在Flink中，状态管理的优化是提高数据处理性能的关键环节。为了实现高效的状态管理，Flink提供了一系列优化策略，这些策略从不同角度对状态数据进行了精细化的处理，从而显著提升了状态管理的整体效能。状态压缩是其中一项重要的优化策略。在处理大规模数据流时，状态数据往往会占用大量的内存和存储空间。通过状态压缩技术，Flink能够有效地减少状态数据的大小，进而降低内存消耗和存储成本。状态压缩的实现原理主要依赖于对状态数据的编码和压缩算法的优化。
flink 例子（scala）
m0_65850671的博客
09-18 818
/env.setStateBackend(new RocksDBStateBackend(s"hdfs://${namenodeID}", true))//hdfs 作为状态后端。env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime) //处理时间。props.setProperty("bootstrap.servers", "host:6667")//有些是9092端口。//.id("自定义id，不加会自动生成")
一文速通calcite结合flink理解SQL从文本变成执行计划详细过程
csdn问鼎
09-15 543
一文速通calcite结合flink理解SQL从文本变成执行计划详细过程
Flink系列知识之：Checkpoint原理
大数据开发、JAVA开发、人工智能AI
09-18 945
Flink系列知识之：Checkpoint原理
flink 批量写clickhouse
m0_65850671的博客
09-19 396
withBatchSize(20000).build(), //20s一批或20000条数据，那个先达到都执行sink。//还有其他字段接着set ps.setSTring(3, v.XXX!idea maven 依赖。
细说Flink状态管理
weixin_41188932的博客
09-19 911
KeyedState 顾名思义就是某个key对应的某些状态的值，因为我们在进行keyBy的时候，我们是需要知道这个对应的key的value值有哪些，也需要知道这个value值有多少等，所以这个KeyedState 一般分为ValueState，ListState, MapState等，分别存储这些key对应的不同的状态类型，也就是不同的数据情况。3.1: 如果是memoryStateBackend, 状态的数据是存储在tm的内存中，checkpoint 的数据是存储在jm 的内存中。
【Flink实战】flink消费http数据并将数组展开多行
hiliang521的博客
09-21 907
【Flink实战】flink消费http数据并将数组展开多行
大数据Flink（一百二十一）：Flink CDC基本介绍
Lansonli（蓝深李）的博客
09-19 1365
Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。目前，Flink CDC 的上游已经支持了 MySQL、MariaDB、PG、Oracle、MongoDB 等丰富的数据源，对 Oceanbase、TiDB、SQLServer 等数据库的支持也已经在社区的规划中。的技术，我们都可以称之为 CDC。
第二届Apache Flink极客挑战赛冠军比赛攻略_SkyPeaceLL队
gangyikeji的博客
09-18 483
生产价值：一些基于向量检索的应用具有相似性，在这样的思路和不断改进下，它们应该可以泛化成通用的应用架构和代码框架，最终或许也可以实现为某一类软件产品或平台。本方案中，代码框架设定了一个目标：对于新增的相似应用的数据集，不修改python代码，只需新增一个workflow config file(yaml文件)，根据新数据集的基本属性以及数据结构的特性设置相应的配置即可。模型算法：如果数据集的特征向量已经经过很好的处理，那么降维模型的模型可选择MSE loss损失小且Inference性能高的模型即可。
Python 如何调用讯飞星火大模型API
最新发布
hello_1995的博客
09-21 706
讯飞星火是科大讯飞推出的一款先进的人工智能大模型，它具备强大的语言理解和知识问答能力，能够在多种场景中提供智能化服务。2024年6月27日，科大讯飞发布了讯飞星火大模型V4.0版本，全面对标GPT-4 Turbo。
Can‘t get Kerberos realm
bruce128的专栏
09-18 307
近期搞Ozone开发，需要走kerberos登陆，遇到了一个问题，花了很长时间解决。记录一下，跟网上能搜到的不大一样。
大数据技术原理与应用
m0_74161592的博客
09-20 663
1、大数据时代的特征，并结合生活实例谈谈带来的影响。（一）特征1、Volume 规模性：数据量大。2、Velocity高速性：处理速度快。数据的生成和响应快摩尔定律：每两年，数据量增加一倍1秒定律：响应时间时间控制在1秒以内3、Variety多样化：数据种类繁多。大数据是由结构化、非结构化、半结构化数据组成的，结构化数据仅占10%左右；非结构化数据，它们与人类信息密切相关；4、Value价值性：价值密度低。价值密度低，商业价值高；通过各类大量数据中挖掘有价值的信息；
ElasticSearch的搜索方式
gaoqiandr的博客
09-21 461
本文主要介绍的是Elasticsearch的基本搜索方式
Flink-CDC实时数据捕获详解与优势
传统的CDC ETL流程通常需要独立的数据采集工具，如Debezium或Canal，而Flink-CDC整合了这些功能，直接处理数据库的增量数据，输出到消息队列或其他存储系统。这一整合降低了维护复杂性，提高了效率。 6. 应用实例...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不进大厂不改名二号

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值