FlinkX Launcher 原理解析

最新推荐文章于 2024-07-09 21:44:25 发布
最新推荐文章于 2024-07-09 21:44:25 发布
阅读量1.6k 收藏 8
点赞数
分类专栏： FlinkX 原理剖析 文章标签： 大数据 FlinkX java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013076044/article/details/107881433
版权
本文详细介绍了FlinkX的四种启动模式：local、standalone、yarn-perjob和yarn-session，以及Flink作业提交的原理。通过FlinkX Launcher，根据不同模式创建相应的客户端，并重点解析了Standalone和YarnSession客户端的创建过程。FlinkX的实现降低了与Flink的耦合，但目前存在与特定Flink版本和环境的兼容性问题。
摘要由CSDN通过智能技术生成

FlinkX模式

local

本机启动一个flink的LocalStreamEnvironment

standalone

flink集群的standalone模式

yarn-perjob

在已经启动在yarn上的flink session里上运行

yarn-session

在yarn上单独启动flink session运行

配置

https://blog.csdn.net/u013076044/article/details/106392437

实现原理

Flink 提交作业流程

最低0.47元/天 解锁文章
wuhulala
关注
专栏目录
Flinkx 启动类 Launcher 运行流程解析
litlit023的专栏
09-30 848
1. 执行提交命令 当我们执行命令运行任务时，例如执行了以下命令： flinkx命令模板： bin/flinkx -mode local \ -job $FLINK_HOME/examples/stream_example.json \ -pluginRoot $FLINK_HOME/plugins \ -confProp "{\"flink.checkpoint.interval\":60000}" 当我们执
本地IDEA环境调试Flinkx 启动Launcher过程分析
litlit023的专栏
10-12 755
本文主要包括：在IDEA环境中，通过设置Launcher类的启动参数，直接在idea中拉起Launcher类，从而启动整个flinkx项目 1. 在IDEA中设置Launcher启动类的Program arguments参数 在Program arguments参数项中设置参数值为： -mode local -job D:\IdeaProjects\flink\flinkx\flinkx-examples\examples\stream_example.json -pluginRoot D:\I
FlinkX启动流程分析
鬼火修罗的博客
10-25 791
base FlinkX源码1.12_release版本 flinkX启动主要依赖两部分： flink-client 它主要完成解析用户的提交指令，完成作业提交 flink-dist 这部分是打包后的target，包含了各个异构数据源的connector，和关键的flinkx-core 启动脚本：flinx/bin/flinkx A.提交过程： 入口类：com.dtstack.flinkx.client.Launcher 从main方法开始： 1.通过OptionParser类解析校验启动时传入的参数 Opt
FlinkX安装与使用
最新发布
2403_83630621的博客
07-09 1401
FlinkX是在袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。FlinkX是一个数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL ，binlog，Kafka等。
Flink运行时之客户端提交作业图-上
VinoYang的专栏
03-31 7203
客户端提交作业图作业图（JobGraph）是Flink的运行时所能理解的作业表示，无论程序通过是DataStream还是DataSet API编写的，它们的JobGraph提交给JobManager以及之后的处理都将得到统一。本篇我们将分析客户端如何提交JobGraph给JobManager。
flinkx测试环境搭建
qq_32461003的博客
10-15 1987
flinkx是袋鼠云基于flink开发的数据同步服务，其核心实现采用插件加载模式（和datax基本一致）实现多常见的适配。 一,安装flink 1，下载flink的压缩包(根据flinkx的版本下载flinx) 2，解压文件 3，配置文件配置 在flink的安装目录下的conf下修改master、slaves、flink-conf.yaml三个文件 注:windows环境安装flink的相关问题 ##需要在flink-conf.yaml配置文件中配置如下几个值，不然启动时回报错(值大小根据自己的电脑配置调
利用Flink实现超大规模用户行为分析
justlpf的专栏
04-28 663
参考：利用Flink实现超大规模用户行为分析 Flink 作为底层的流处理框架。主要出于以下几点原因： 第一，Flink 是一个纯流式系统，吞吐量实际测试可达 100K EPS。而不像某些框架是用 mini batch 的模式来达到所谓的流式处理的； 第二，面对不同的用户数据格式，我们必须支持多种数据源，这一点上 Flink 内置的对多种数据源的支持（CSV，Kafka，Hbase，Text，...
以Launcher为解析核心 Launcher桌面的开发
06-10
以Launcher为解析核心，全面地介绍了Launcher的清单、应用程序组件、资源配置、UI组件以及Launcher的操作等，包含了整个桌面的体系和开发技巧。语言通俗易懂，解析全面，有利于读者理解整个Launcher桌面的体系.
Launcher框架解析.ppt
01-27
介绍launcher框架
Android6.0 Launcher2应用解析
01-04
在之前我们分析了Android6.0系统在启动时安装应用程序的过程，这些应用程序安装好之后，Launcher应用就负责把它们在桌面上展示出来。 一、AMS启动Launcher  Launcher应用是在AMS的systemReady方法中直接调用...
Apache Flink 零基础入门（四）：客户端操作的 5 种模式
Ververica的博客
08-01 1808
作者：周凯波 1.环境说明 在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行，今天的课程主要是讲 Flink 的客户端操作。本次讲解以实际操作为主。这次课程是基于社区的 Flink 1.7.2 版本，操作系统是 Mac 系统，浏览器是 Google Chrome 浏览器。有关开发环境的准备和集群的部署，请参考「开发环境搭建和应用的配置、部署及运行」的内容。 2.课程概要 ...
Flink on Yarn启动流程分析
Han.启书的博客
09-23 2215
HBase BlockCache知识点铺垫 为后面继续梳理BlockCache的核心内容，在此先铺垫一下相关的知识点： BlockCache接口 BlockType BlockCacheKey, Cacheable键值对 CacheStats BlockCache实现 BlockCache接口 从图中可以看出BlockCache接口关心的内容 oper...
Flink 集群运行原理兼部署及Yarn运行模式深入剖析-Flink牛刀小试
weixin_33936401的博客
11-24 437
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 1 Flink的前世今生（生态很重要） 很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年...
flink部署yarn错误：Couldn‘t deploy Yarn session cluster
饶一熊的博客
04-09 8343
Couldn’t deploy Yarn session cluster 错误信息 flink on yarn启动yarn-session时, 出现yarn-session无法部署错误 并且提示2.1G的虚拟内存使用了2.2GB内存. ... org.apache.flink.client.deployment.ClusterDeploymentException: `Couldn't deploy Yarn session cluster` at org.apache.flink.yarn
YARN学习总结-第十八节-YARN-Shared-Cache
qq_20995587的博客
08-30 968
YARN-Shared-Cache 共享缓存包括4个主要功能： 1.共享缓存客户端 2.HDFS目录扮演缓存 3.共享缓存管理器（SCM） 4.本地化服务和上传器 用户或者开发者需要跟共享缓存客户端交互，客户端负责与共享缓存管理器交互，计算应用资源校验和，并且在共享缓存获取应用资源。 共享缓存目录 共享缓存目录通过HDFS权限进行保护，并且全局只读，只允许信任用户去写。这个目录只有...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值