flink实战--idea本地提交Flink任务到远程的集群

最新推荐文章于 2024-11-29 09:46:55 发布
最新推荐文章于 2024-11-29 09:46:55 发布
阅读量4.8k 收藏 5
点赞数 1
分类专栏： Flink学习必读系列 文章标签： flink远程提交
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/103894399
版权
本文介绍了如何使用Flink的createRemoteEnvironment方法，实现从IntelliJ IDEA本地直接提交任务到远程Flink集群，从而节省打包上传的时间。提供了一段源码解析和演示示例。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

                     你是不是还在打包上传到远程集群运行flink任务？这样会浪费很多时间，为了节约大家的时间，flink提供了createRemoteEnvironment方法，可以实现本地任务提交到远程集群的方法，本文具体介绍一下。

createRemoteEnvironment

       源码如下：org.apache.flink.api.java.RemoteEnvironment


看到源码的你，相信已经会使用，所有我

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink实战系列】Flink如何提交任务到远程的集群
JasonLee实时计算
01-05 7726
Flink可以直接从本地提交任务到远程的集群,这样就不用每次打包上传到集群然后再启动任务,会减少很多时间,下面就来看看具体是怎么实现的? spark在本地提交到远程的yarn集群上可以看这篇文章https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg Flink提供了远程提交的环境createRemoteEnvironment方法, 下面看一下这个方...
【Flink】Flink 提交 任务 到 yarn 报错 NoClassDefFoundError ImutabMap
九师兄
06-18 474
1.概述 ‘flink on yarn启动不了的 ，flink提交任务报错 这个一看就是 缺少类 或者 类冲突 是jar包问题，把hadoo2的包换成hadoop3的
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H
Flink实践：idea将Flink任务提交到远程flink集群
Yuan_CSDF的博客
06-10 2248
1.idea将Flink任务提交到远程Flink集群 在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群： def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = { new StreamExecutionEnvironment(JavaEnv.createRemoteEnvi
本地环境提交flink on yarn作业
最新发布
Cyanty的博客
11-29 861
在使用云厂商提供的flink job管理平台时，通过界面操作提交flink任务到yarn上十分方便，那么开发调试时能否在本地环境直接提交flink任务到yarn呢？开源的flink管理平台有提交flink on yarn作业的代码实现，可以参照 streampark 里对应模块的代码实现本地环境下的flink on yarn作业的提交。其中 streampark-flink-client-core 作为提交flink job的核心模块，这里我们只关心flink on yarn作业的提交。
flink接收消息存到服务器,Flink 在 Idea上提交任务到远程服务器
weixin_35278163的博客
08-06 308
Flink自身提供了远程提交任务的环境,源码如下:请查看StreamExecutionEnvironment 类中 createRemoteEnvironment 方法def createRemoteEnvironment(host: String,port: Int,parallelism: Int,jarFiles: String*): StreamExecutionEnvironment =...
FLink集群搭建并提交一个简单的任务
weixin_48370579的博客
07-24 432
FLink集群搭建 独立集群 独立集群不需要依赖任何框架，独立运行 1、上传解压配置环境变量 tar -xvf flink-1.15.0-bin-scala_2.12.tgz vim /etc/profile 2、修改配置文件 vim conf/flink-conf.yaml jobmanager.rpc.address: master jobmanager.bind-host: 0....
Flink 作业提交
qq_24186017的博客
09-19 367
.Flink作业是如何提交到集群的？
flink-1.7.1-bin-scala_2.12.tgz
08-18
这个压缩包包含了在本地或集群环境中运行Flink所需的所有文件。 描述中的内容与标题相同，暗示这是Flink的一个完整发行版，主要针对使用Scala 2.12开发的环境。Scala是一种多范式编程语言，常用于构建大规模数据...
flink-1.14.4 安装包 scala 2.12
04-03
4. **编译和运行**: 使用 SBT 或 IntelliJ IDEA 等 IDE 编译项目，然后通过 Flink 的命令行客户端提交作业到集群： ``` bin/flink run -m localhost:8081 path/to/your/compiled.jar ``` **Flink 的核心概念** ...
本地IDEA提交Flink/Spark任务到集群的工具
大数据星球-浪尖
11-16 899
作者链接：https://www.jianshu.com/p/ae1919fdf399文章中所述的spark/flink提交任务的github工程：https://github.com/t...
Flink 在 idea上提交任务到远程服务器
storm_fury
07-03 2580
Flink自身提供了远程提交任务的环境,源码如下: 请查看StreamExecutionEnvironment 类中 createRemoteEnvironment 方法 def createRemoteEnvironment( host: String, port: Int, parallelism: Int, jarFiles: String*): StreamExecutionEnvironment = { val javaEnv = JavaEnv.create
Flink 应用程序的远程运行和调优
互联网知识分享
08-19 408
应用程序的远程运行和调优的详细介绍。通过配置远程集群、优化资源配置、算子链和任务链，以及设置合适的并行度，可以提高应用程序的性能和稳定性。算子链优化是将多个算子合并为一个算子链，减少网络传输开销。在远程运行应用程序时，我们需要进行调优以提高应用程序的性能和稳定性。中，应用程序可以本地运行，也可以远程运行。在远程集群上运行应用程序时，可以通过设置资源配置参数来优化性能。使用合适的窗口操作符，如滑动窗口和会话窗口，以减少中间状态的存储和传输。启动完成后，集群将监听指定的地址和端口，等待应用程序提交。
flink 实战例子 createRemoteEnvironment
笔生花的博客
03-03 2596
createRemoteEnvironment(host: String, port: Int, jarFiles: String*) 意思是将你本地的代码打的jar包,远程提交到已经存在的flink集群上.注意此程序再idea运行的时候,idea上不会有任何输出的.在这种模式下idea就是相当于一个传输所需jar文件的客户端,程序一旦执行之后,就和idea无关了. 1.代码如下: package com.flink import org.apache.flink.streaming.api.scal
提交flink程序到集群上
weixin_46609492的博客
01-05 3915
这里我演示的是 yarn的cluster模式 首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。 这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的) 执行完上面三步后：项目的下面会出现target文件夹 这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以直接将 较小的jar上传到环境上执行。 如果测试环境上没有程序所需资源jar包，则需要将较大的jar包上传到环境上执行。 两个jar之所以不一样大小，就是一个包含程序所需资源jar包，一个不包含程序所 需资源jar包。
git在本地分支完成开发后，如何推到远程分支上
qq_40467670的博客
07-27 5015
在此，作为git小白的我，有义务也有责任，把我的这个过程记录下来，帮助到那些和我一样git会看不会用的小白。刚视频联系，大宝有点emo，具体原因不说了，希望大宝要相信自己，你我难事都很多，难就一点点杠，再难就向外部请求支援，千万别自暴自弃，看不起自己，这样你伤感低落了，旁人一个都不知道，难受的只有你自己，不觉得这样很亏吗。如果中途出茬子搞坏了，我也不会了，毕竟经历过一回，心有多痛多悔恨，都懂的。明确自己的分支名，远程的分支名嘛，得问你自己了，这两个分支名，你需要时刻清楚明白。
Flink的APIcreateRemoteEnvironment的使用教程
Tu_maimes
04-22 4343
一、createRemoteEnvironment API 介绍 /** 1. Creates a remote execution environment. The remote environment sends (parts of) the program to 2. a cluster for execution. Note that all file paths used i...
【尚硅谷Java版】Flink中DataStream API篇之创建执行环境
junR_980218的博客
07-15 1420
【尚硅谷Java版】Flink中DataStream API篇之创建执行环境
Flink笔记
weixin_49113403的博客
02-01 1819
其实就是实现FilterFuntion方法之类的Rich Funtion函数类，RichReduceFuntion,RichFilter Function等只要带Rich的，就可以获取上下文环境和生命周期方法例如open（）和close（）方法open（）初始化，只会在算子运行之前调用一次，有多个并行度，调用多次close（），一般用来做一些清理工作getRuntimeContext（），获取上下文的信息重写 invoke方法。
简化大数据任务提交：FlinkSpark任务一键从IDEA到Yarnk8s集群
资源摘要信息:"本文介绍了一种工具类，用于从本地IDEA环境向Yarn和k8s集群提交Flink和Spark任务。通过减少传统任务提交流程中的繁琐步骤，该工具类旨在提高大数据开发人员的开发调试效率。详细说明如下： 1. Flink...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值