DockerDesktop搭建Flink集群：命令行提交jar包

最新推荐文章于 2024-03-03 09:38:18 发布
VIP文章 最新推荐文章于 2024-03-03 09:38:18 发布
阅读量780 收藏 2
点赞数
文章标签： flink 大数据 dockerDesktop docker 命令行 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DreamLy1017/article/details/129651229
版权

一般提交任务都是在WEBUI中，可是如果想用命令行提交该怎么办？

尤其我这个是DockerDesktop，又该怎么弄呢？和正常的Docker一样吗？

是的，一样的。

我先将需要提交的jar包放进jobmanager的容器中：

Ubuntu命令行：docker cp 本地文件路径 容器ID/容器NAME:容器内路径

docker cp/mnt/d/JetBrains/Work_Project/com.lx.flink-1.0-SNAPSHOT.jar599b7611e14a:/opt/flink

进入jobmanager的容器中：

599b7……：是我的jobmanager的容器ID

最低0.47元/天 解锁文章
DreamLy1017
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
docker 搭建 flink 并上传任务
热门推荐
不懂一休
02-23 1万+
1.16.0-scala_2.12-java8 镜像版本说明，flink 1.16.0，flink 内置 scala 版本 2.12，Java 版本 8。如下两个容器启动成功，可以看到 web 端口为 18081，taskmanager 启动一个，包含 5 个任务槽。如下：注意运行需要设置启动参数，否则启动会找不到类，因为 pom.xml 文件 flink 相关包都添加了。打包项目：可以在 pom.xml 修改启动类，也可以在命令启动或者 ui 界面上传设置启动类参数。下面代码用来统计单词出现的的次数。
【Flink】提交jar包到Flink集群并运行
weixin_65690086的博客
07-19 3362
【Flink】提交jar包到Flink集群并运行
使用Docker快速部署Flink分布式集群
最新发布
敏叔
03-03 1539
本文其实是介绍了最长见的两种使用docker的场景，一个是自己开发的程序如何用docker跑起来，第二是使用现成的容器更快速让我们入门。这两种方式在以后会经常碰到。
【Flink 问题】Flink 如何提交轻量jar包 依赖该如何存放 会遇到哪些问题
T_Antry
07-21 3544
flink怎样部署，才能够提交jar时，只提交代码，而不用将依赖每次提交。依赖包该放在哪个位置？
DockerDesktop：使用docker-compose.yml搭建Flink集群
DreamLy1017的博客
03-17 1361
DockerDesktop使用docker-compose搭建Flink
提交flink程序到集群上
weixin_46609492的博客
01-05 3691
这里我演示的是 yarn的cluster模式 首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。 这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的) 执行完上面三步后：项目的下面会出现target文件夹 这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以直接将 较小的jar上传到环境上执行。 如果测试环境上没有程序所需资源jar包，则需要将较大的jar包上传到环境上执行。 两个jar之所以不一样大小，就是一个包含程序所需资源jar包，一个不包含程序所 需资源jar包。
【flink】上传jar并执行
叁滴水 的博客
01-13 1万+
过idea编写flink工程，并且导出可执行jar,上传到flink执行的过程，请大家参考。
flink集群搭建包.zip
06-14
flink-shaded-hadoop-2-uber-2.7.5-7.0.zip 和 flink-1.8.1-bin-scala_2.11.tgz
搭建Flink standalone HA 模式所需的jar包
04-13
在构建Flink standalone HA 模式的时候，需要将上述全部jar包导入到flink/lib目录下，这样即可在一定配置下，可以通过案例来实现HA模式的使用。
flink1.14.6版本 lib目录依赖jar包
05-25
flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-...
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: ...
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 4879
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
工作实践篇 Flink（一：flink提交jar）
weixin_43446246的博客
12-22 1147
flink 模式 – standalone。
flink命令行参数启动
君子以自强不息
08-31 1万+
业务中使用flink来统计不同维度的数据，记录下使用中遇到的问题（包括jar包的启动、停止、获取命令行参数）。
Flink-Application模式提交任务到Yarn集群，包括jar包提交方法和javaApi提交方法
clearlxj的博客
09-30 6111
Flink Application 对于per job模式，jar包的解析、生成JobGraph是在客户端上执行的，然后将生成的jobgraph提交到集群。如果任务特别多的话，那么这些生成JobGraph、提交到集群的操作都会在实时平台所在的机器上执行，那么将会给服务器造成很大的压力。 此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应 的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。 所以针对flink per job模式的一些
【Flink】基于Docker下的Flink运行环境搭建（Mac)
我爱穿秋裤
02-07 1269
创建一个本地运行环境是提高开发效率和便捷进行代码调试的关键。我们将一起构建一个本地环境，专门用于执行Flink任务。此环境以Flink 1.17.2版本为基础，采用Docker技术搭建而成。通过这种方式，我们能够模拟出一个接近实际生产环境的运行条件，帮助我们更好地测试和优化我们的Flink应用。
flink命令行提交jar包任务
qq_43699958的博客
09-12 956
关于如何安装flink，这个写的非常详细，https://blog.csdn.net/qq_43699958/article/details/132826440在flink的bin目录启动flink cluster。
Macos系统：docker安装flink
GhostintheCode的博客
01-05 628
flink可视化页面
docker desktop 安装flink
04-06
以下是在 Docker Desktop 上安装 Flink 的步骤： 1. 打开 Docker Desktop，确保 Docker 已经启动。 2. 在终端或命令行中输入以下命令下载 Flink 镜像： ``` docker pull flink:latest ``` 3. 创建一个 Flink 容器并运行： ``` docker run --name flink-container -d flink:latest ``` 4. 检查容器是否已经运行： ``` docker ps ``` 应该会看到名为 flink-container 的容器正在运行中。 5. 进入容器： ``` docker exec -it flink-container bash ``` 6. 在容器中运行 Flink： ``` ./bin/start-cluster.sh ``` 7. 打开浏览器，访问 http://localhost:8081/ 查看 Flink Web UI。 至此，Flink 已经成功安装并运行在 Docker Desktop 上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值