Flink内核源码解析系列（五）：解析并通过执行用户的命令来执行用户jar中的main方法

最新推荐文章于 2023-09-18 01:36:14 发布
最新推荐文章于 2023-09-18 01:36:14 发布
阅读量309 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117600519
版权
本文深入解析Apache Flink内核，详细阐述如何通过`CliFrontend`对象解析用户命令，如`run -t yarn-per-job -c ... xx.jar`，并执行用户jar包中的main方法。过程包括创建`CliFrontend`，`DefaultParser.parse`处理命令行，选择合适客户端，获取jar和依赖，以及执行`PackagedProgram`。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
Flink内核源码解析系列（六）：调用执行环境的execute方法
打工日常
06-08 1040
在上一篇《Flink内核源码解析系列（五）：解析并通过执行用户的命令来执行用户jar中的main方法》中，讲到了在CliFronted类生成了PackageProgram，同时通过它执行用户的main方法。 那写过Flink Jar任务代码的读者都知道，在main方法的最后一行，有代码如下： env.execute(jobName); 因此接下来，就会调用执行环境的execute方法。而执行环境是StreamExecutionEnvironment所在的类的execute方法。 public Jo
Flink入门
smileYYR的博客
09-01 150
1.定义 核心是用java和scala编写的框架和分布式处理引擎java api scala api，用于对无界(实时流数据)和有界数据流(离线数据也称为批量数据处理)进行有状态计算 2.数据过程 处理数据过程抽象为三个过程：source ->Transform -> Sink 3.架构设计 4.相关术语 物理部署层-deploy层：负责解决Flink的部署模式问题， Runtime核心层：是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。将DataStream和Data
一个jar包里有多个main，指定运行某一个main
热门推荐
cugb1004101218的专栏
12-15 1万+
如果一个jar中含有多个主程序，而你没有配置默认主程序，或者想要运行指定主程序，则可以通过如下命令执行： java -cp example03-1.0-SNAPSHOT.jar com.alan.HelloWorld -cp example03-1.0-SNAPSHOT.jar   jar包 com.alan.HelloWorld  指定的主程序类
Flink-1.5.6 源码分析-----main方法转换为dag的流程
灵翼的专栏
04-29 910
目录 1.execute启动时，如何知道要执行哪些DataStream 2.flink是怎么按照上下游执行DataStream的 总结 用于记录自己学习flink整套流程的一篇博客，本文主要讨论，flink的一个job中，多个stream转化为dag的大致步骤 以org.apache.flink.streaming.examples.wordcount.WordCount为例 贴一张 ...
flink的main方法和execute方法的关系
最新发布
lixia0417mul2的博客
09-18 462
flink的main方法和execute方法关系
普通java项目在多个main方法下怎么启动指定main方法
苗小刀的博客
08-20 1181
普通java项目在多个main方法下怎么启动指定main方法
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6197
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析--Flink中重要的工作组件和机制
weixin_42492886的博客
08-16 852
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
Flink内核源码解析系列（一）：如何找到程序入口？
打工日常
06-05 280
前提
Flink 本地执行入门
qq_34936033的博客
05-15 595
一、maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.6.3</flink.version> <java.version>1.8</j...
关于一个项目含有多个main函数的问题
fidshgidu的博客
01-25 4223
关于一个项目含有多个main函数的问题 在练习printf函数和sizeof函数中，我创建了两个源文件printf函数.c和sizeof函数.c 此时一个就存在两个main函数，系统报错 解决办法1 鼠标右击解决方案–添加–新建页，创建一个新的项目 然后把 printf函数.c或者sizeof函数.c移动到新建的项目中 右击项目–设为启动项目，这样既可以运行其中一个项目了！想运行哪一个项目就把哪一个项目设为启动项目 解决办法2 鼠标右键点击其中一个文件，选择属性! 从生成中排除中选择 是。
JavaFlink原理、实战、源码分析（一）原理部分
qq_36250202的博客
01-22 1875
第一章 Flink 简介 Flink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.2 Flink 的重要特点 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。...
Flink学习笔记之Flink架构
weixin_45524021的博客
01-13 194
Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器,例如 Hadoop YARN 、Apache Mesos 和 Kubernets,但也可以设置作为独立集群甚至库运行。 本节概述了 Flink 架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink集群剖析 Flink 运行时由两种类型的进程组成：一个 JobManager 和 一个或者多个 TaskManager。 Client 不是运行时和程序执行的一部分.
Flink 本地运行日志配置
u011250186的博客
08-04 1084
方法一: 使用 log4j.properties 在 src/main/resources 中添加 log4j.properties 文件 ################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license ag...
【Flink源码分析】Flink 命令启动全流程
weixin_41105709的博客
05-25 1223
一、启动脚本分析 1、 WordCount启动命令 bin/flink run examples/streaming/SocketWindowWordCount.jar --hostname localhost --port 9000 2、bin/flink 脚本分析 从上图中我圈的红色部分可以看出，最终调用的是“org.apache.flink.client.cli.CliFrontend”这个类。 二、CliFrontend启动类分析 1、main方法 从下面的代码可以看出，main方法中首先
flink本地集群搭建运行
Zhang_521521的博客
11-17 598
前一阵子用到了阿里的blink处理流计算，对一些流计算的api也算是较熟悉了，大家都知道blink在今年3月份已被阿里开源，贡献到了开源的flink中，blink的优势在这里不在多描述了像支持sql编程等，相反我虽然用了blink，但是对开源的flink确实还没有在实际的业务场景中用到，但是它的实用价值也是非常高的，高吞吐、低延迟等特性，所以就自己去官网看了下，在本地搭建了一个。 官网地址：ht...
Flink入门（三）——环境与部署
微信搜：import_bigdata，大数据领域硬核原创作者
01-06 1784
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。 首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apache.org/downloads.html...
hive执行jar包报错：Invalid signature file digest for Manifest main attributes
MDJ_D2T的博客
08-24 577
重新打包，排除包中的 *.SF *.DSA *.RSA 文件； 修改 jar包的pom文件后，重新打包即可； <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version&gt
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值