【Flink实战系列】Flink如何提交任务到远程的集群

最新推荐文章于 2024-12-10 09:50:19 发布

JasonLee实时计算

最新推荐文章于 2024-12-10 09:50:19 发布

阅读量7.7k

点赞数 3

分类专栏： Flink 实战系列文章标签： Flink

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/103846779

版权

Flink 实战系列专栏收录该内容

69 篇文章 474 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了如何使用Flink从本地便捷地将任务提交到远程集群，通过调用`createRemoteEnvironment`方法，提供JobManager的IP、端口、并行度和任务JAR包，简化了任务提交流程，提高了开发测试效率。

摘要由CSDN通过智能技术生成

Flink可以直接从本地提交任务到远程的集群,这样就不用每次打包上传到集群然后再启动任务,会减少很多时间,下面就来看看具体是怎么实现的? spark在本地提交到远程的yarn集群上可以看这篇文章 https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg

Flink提供了远程提交的环境createRemoteEnvironment方法, 下面看一下这个方法的源码

def createRemoteEnvironment(
    host: String,
    port: Int,
    parallelism: Int,
    jarFiles: String*): StreamExecutionEnvironment = {

  val javaEnv = JavaEnv.createRemoteEnvironment(host, port, jarFiles: _*)
  javaEnv.setParallelism(parallelism)
  new StreamExecutionEnvironment(javaEnv)
}

可以看到这个方法一共需要4个参数

host: jobmanager的ip地址

port: jobmanager的端口号

parallelism: 任务的并行度

了解本专栏