9、Flink的部署以及作业提交

最新推荐文章于 2024-08-08 13:30:27 发布
最新推荐文章于 2024-08-08 13:30:27 发布
阅读量538 收藏 1
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingdianone/article/details/102658375
版权
本文详细介绍了如何编译Flink 1.7.2源码，从下载、解压到编译过程，以及编译完成后jar包的存放位置。接着讲解了Flink的单机部署步骤，包括前置条件、安装目录拷贝和本地模式启动。还提供了停止作业、提交测试作业、查看作业状态和结果的操作方法。
摘要由CSDN通过智能技术生成

Flink源码编译

下载源码：
1、直接下载Flink1.7.2源码
2、通过wget命令下载到服务器

wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-src.tgz

在这里插入图片描述
解压

tar -zxvf flink-1.7.2-src.tgz -C ../source/

编译

mvn clean install -DskipTests -Pvendor-repos -Dfast -Dhadoop.version=2.6.0-cdh5.7.0

编译成功；第一次编译花费了四小时

最低0.47元/天 解锁文章
-无妄-
关注
专栏目录
Flink程序部署与提交
SunnyRivers
08-16 422
我们看门见山，生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台（如YARN）结合起来，选择特定的模式来分配资源、部署应用。
【Flink】Flink部署
qq_43744420的博客
08-29 1343
Flink部署模式、会话模式、单作业模式、应用模式、Yarn、独立模式
Flink部署及作业提交
qq_32165517的博客
08-26 1431
Flink部署及作业提交 Flink源码编译 Setup: Download and Start Flink Flink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi
详解 Flink 的常见部署方式
weixin_44480009的博客
06-06 2172
Yarn 模式是指客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会在 Yarn 的 NodeManager 上创建容器。YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 本质是利用的 YARN 的重试次数来实现的高可用。将编码好的 Flink maven 工程打成 jar 包，并将 jar 包上传到 flink 安装目录下的 lib 目录。
Flink任务提交流程和运行模式
最新发布
XuXuemin的专栏
08-08 1265
Flink的任务提交流程过程说明，Flink集群的运行模式及其下的任务部署模式
大数据学习之Flink，了解Flink的多种部署模式
2301_78038072的博客
01-22 2302
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
Flink入坑指南 第三章：第一个作业
weixin_34248705的博客
12-27 229
摘要： Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。本文属个人原创，仅做技术交流之用，笔者才疏学浅，如有错误，欢迎指正。转载请注明出处，侵权必究。 Flink接口 Flink支持三种接口，也就是三种写作业的方式： SQL：实时计算产品与开源Flink相比，提供更全面的语法支...
Flink的单元测试介绍及示例
OKCRoss的博客
02-20 1727
除了之前可以直接用于测试 ProcessFunction 的测试工具之外，Flink 还提供了一个名为 ProcessFunctionTestHarnesses 的测试工具工厂类，可以简化测试工具的实例化。为了不将整个 pipeline 代码从生产复制到测试，请将你的 source 和 sink 在生产代码中设置成可插拔的，并在测试中注入特殊的测试 source 和测试 sink。以上，本文详细的介绍了Flink的单元测试，分为有状态、无状态以及作业的测试，特别是针对无状态的单元测试给出了常见的使用示例。
(2021-03-26)大数据学习之Flink安装部署以及任务提交/调度详解
qq_23665305的博客
03-17 556
Flink学习之安装部署以及API方法1.Flink快速安装2. Flink运行时组件3. Flink任务提交流程以及任务调度3.1 任务提交流程（YARN）3.2 任务调度原理3.3 TaskManager 与Slots3.3.1 作用与关系 1.Flink快速安装 Flink下载地址 选择对应的版本，然后进入之后选择带有scala的tagz包。之所以选择是因为Flink的runtime层使用到了akka是由scala写的。 下载成功之后上传到服务器上。 解压 tar -zxvf flink-1.12.
Flink 程序编译打包以及发布全流程
weixin_39856336的博客
08-18 752
启动： 运行 ./start-cluster.sh (注意权限) windows运行 start-cluster.bat。启动成功，访问 对应的8081 看到ui界面即启动成功！将target下生成好的这个放到服务器上运行。首先修改pom （主要针对1.7版本）主类就是main入口，右键复制引用即可。增加build 修改里边的主类。在maven生命周期分别双击。进入目录，进入bin目录。1、flink下载安装。2、flink程序打包。或者上传到界面上运行。
Apache Flink 零基础入门（二十）Flink部署与作业的提交
vincent_duan的专栏
09-18 522
之前我们都是基于Idea在本地进行开发，这种方式很适合开发以及测试，但是开发完之后，如何提交到服务器中运行? Flink单机部署方式 本地开发和测试过程中非常有用，只要把代码放到服务器直接运行。 前置条件 jdk8 maven3 下载解压Flink，这里直接下载源码编译，直接从github上下载源码https://github.com/apache/flink/releases 选择1.8.1 然...
flink 客户端操作.pdf
05-21
flink 客户端操作, 各种命令, sql clinet 操作 等等都在文档里有
Flink作业提交流程
WHY的博客
02-07 1983
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
三分钟快速理解Flink 作业提交流程(包工头的工程之路)
jx的博客
04-23 767
JobMaster 向 ResourceManager 申请运行 flink 作业所需要的 TaskManager，ResourceManaager 向资源管理系统(比如 Yarn)申请对应的资源；部署阶段，向ResourceManager 请求执行 flink 作业执行所需要的资源，将任务分发到不同的节点上去运行。主要用来接收 client 提交的 flink 作业，为 flink 作业启动一个 JobMaster。本文介绍了 flink 作业的提交流程，希望可以帮助到你。负责一个 flink 作业。
Flink大数据项目实战
01-18
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
Flink提交作业的两种方式
热门推荐
吟啸徐行
06-06 1万+
抛砖引玉： 在Spark集群提交作业时候可以使用--deploy参数指定client或者cluster方式提交作业到集群，前者是客户端模式，后者是集群模式，两者主要区别就是Driver的运行位置，在客户端模式下，Driver运行在提交作业的客户端机器上负责与集群进行资源申请调度等工作。而集群模式下Driver运行在集群中的某一个节点上负责资源申请以及调度。 一般的，客户端模式适合程序的调试，这
Flink的作业提交
shufangreal的博客
03-01 945
Flink作业提交 Flink作为一个分布式的计算引擎，类似于Spark，Flink有多重部署模式：standalone、k8s、yarn、mesos Standalone模式 安装步骤： 1.下载安装包，并分发配置好的 2.配置flink-conf.yml & slave 3.启动Flink集群 4.确认Flink启动情况：http://localhost:8081/ 进程1 -Stan...
Flink-作业提交流程
迷路剑客个人博客
08-28 2993
Flink-作业提交流程 1 概述 Flink DataStream一个作业提交，大致有以下几步 编译阶段-Client生成StreamGraph 将每个算子转换为Transformation，并且记录下每个input Transformation。 将每个Transformation转换为StreamNode，以及带有并行度和Partitioner信息的、有向的StreamEdge，StreamNode会记录出边outEdges和入边inEdges 这样就得到了一个有向图StreamGraph
Flink运行时之客户端提交作业图-下
VinoYang的专栏
04-02 7653
submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后，构建一个JobInfo对象以封装Job的基本信息
Flink集群部署：Standalone与Yarn模式
接下来，我们转向Yarn模式的Flink部署： 1. **环境要求**：为了在Yarn上运行Flink，需要确保Flink版本兼容Hadoop 2.2以上，并且Hadoop集群已经安装了HDFS服务。 2. **Session-Cluster模式**：在这种模式下，Flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值