FLink job提交依赖包问题解决

最新推荐文章于 2024-04-22 12:43:30 发布
最新推荐文章于 2024-04-22 12:43:30 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据之Flink 大数据之HBase 文章标签： flink hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011110301/article/details/120175454
版权

目录

问题一：

问题二：

问题三：

问题四：

问题五：版本不兼容

问题六：提交任务最后报错：不影响任务运行。

问题一：

运行flink jar包，提示少包：

java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.TableDescriptor

添加包

问题二：

pom中配置的hbase的版本不一定要跟实际安装的版本一致！

问题三：

 

添加netty-all-4.0.23.Final.jar

问题四：

NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/MasterProtos$RunCleanerChoreRequest

 

hadoop的版本和jdk1.8不兼容，切换hadoop-common的版本2.7.0

问题五：版本不兼容

 

解决：检查hbase的版本。

问题六：提交任务最后报错：不影响任务运行。

 

 

 

大数据架构师Pony
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink 无法添加依赖包提交到集群的解决方案
weixin_43613717的博客
10-23 982
问题描述 flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做，但是事实是我们不想打一个fat包，我们希望将业务独立出来，依赖动态提交，而且fat包占空间大，上传集群费时，不方便迭代 解决方案 思路：程序在打包的时候，不打超级包，在提交节点提前上传好需要的依赖，然后在...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据...支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
flink job 提交模式
qq_27242695的博客
04-20 2263
文章目录flink job 提交模式1 maven 依赖引用2 提交模式2.1 Standalone 模式2.1.1 页面手动提交2.1.2 指令提交2.1.3 指令取消job2.2 yarn-会话模式(推荐)2.2.1 准备 flink job 提交模式 flink版本：1.13.1 scala版本：2.12 1 maven 依赖引用 <properties> <flink.version>1.13.1</flink.version>
Flink动态添加依赖Jar包提交到Yarn
张伟的专栏
02-10 6356
本文链接：https://blog.csdn.net/ifenggege/article/details/113731793 背景 开发的flink程序，要使用yarn-cluster的方式进行部署。 程序中依赖了很多第三方jar包，不想用shade那种打包方式打成一个大jar包，然后提交。 想将应用程序jar包和依赖jar包分开，依赖的jar包在提交时一起提交上去（像spark on yarn直接指定“–jars”这样），但是找了好久发现flink官方没有提供这样的方式。 直接将依赖的ja...
Flink Job提交分析
最新发布
weixin_44852067的博客
04-22 1009
1.概述   Flink 应用程序的提交方式为：打成jar包，通过 flink 命令来进行提交。 flink 命令脚本的底层是通过 java 命令启动：CliFrontend 类 来启动 JVM 进程，执行任务的构造和提交。 flink run xxx.jar class arg1 arg2 flink.sh 脚本: ## flink.sh target="$0" # For the case, the executable has been directly symlinked, figure out
flink如何动态支持依赖jar包提交
海边无限的专栏
05-13 4141
通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。 ...
Flink run application 提交 job
L, there!
02-20 2223
1. 上传 flink 相关 plugins 到hdfs 2. 上传 flink 相关 依赖到 hdfs 3. 上传用户 jar 到 hdfs 4. 提交任务 flink run-application -t yarn-application \ -c com.sm.analysis.rdw.SdkDataEtlOdsToDwd \ -Djobmanager.memory.process.size=1600m \ -Dtaskmanager.memory.process.size=2048
Flink内核源码（七）Flink SQL提交流程
小朱小朱绝不认输的博客
07-28 2212
Flink内核源码：FlinkSQL提交流程分析
Flink超神文档.pdf
01-29
- **安装**: Flink 的安装过程相对简单，可以通过下载二进制包或通过 Maven 添加依赖来实现。 - **部署**: 部署 Flink 时，可以选择不同的部署模式，如 Standalone 模式、YARN 模式等。 **3.2 Standalone集群安装&...
linux_flink-1.13.0.rar
11-17
总结起来，在Linux环境下部署Flink 1.13.0到YARN模式，需要配置Flink的YARN相关参数，启动YARN会话，并通过Flink的命令行工具提交作业。通过这种方式，你可以利用Hadoop集群的资源管理和容错能力，高效地运行大规模...
flink任务调度器
06-20
1. **Job提交**：用户提交一个Flink Job到JobManager，JobManager将Job转化为JobGraph。 2. **优化计划**：Flink的Plan Optimizer会对JobGraph进行优化，生成ExecutionGraph，这是一个物理执行计划，包含了具体的...
2023 技術點總結 flink java
02-19
在实际部署过程中，往往需要将编译后的Jar包远程提交到Flink Standalone集群执行。 **操作步骤**： 1. 构建包含所有依赖的Jar包。 2. 使用`flink run`命令远程提交Jar包到指定的集群地址。 3. 设置必要的参数，如...
Flink作业提交流程
m0_37689903的博客
06-11 1325
本文主要是介绍Flink的作业提交流程。在正式介绍作业提交流程之前，先介绍了2个主要角色，作业管理器（JobManager）和任务管理器（TaskManager），然后介绍了作业运行时几个核心概念，包括并行度，算子链，任务槽，任务槽和并行度的关系。最后介绍了Flink的作业提交流程，包括standalone会话模式作业提交流程和yarn应用模式作业提交流程，注意两者之间的区别，希望对大家有所帮助
hadoop权限问题：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x
东城庞太师
07-26 7644
如图： 解决：修改Hadoop配置文件hdfs-site.xml里的权限。 最后一步：重启hdfs组件。
任务提交时，报错： Could not deploy Yarn job cluster
东城庞太师
07-26 6738
如图：任务提交时，报错：Could not deploy Yarn job cluster 原因：我们往下看 原因：设置的内存超过了限制。 解决：修改内存大小设置 yarn.scheduler.maximum-allocation-mb yarn.nodemanager.resource.memory-mb ...
scalac: Token not found:
东城庞太师
01-11 5713
IDEA 执行 scala 程序时，报 scalac: Token not found错误 解决：Settings -> Plugins把 Scala 插件停用或者卸载，重启 IDEA，再启用 或者安装Scala 插件，重启 IDEA
flink创建kafka流表时报错：Cannot discover a connector using option: ‘connector‘=‘kafka‘
东城庞太师
07-09 5690
flink创建kafka表时，报错： Cannot discover a connector using option: 'connector'='kafka' Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories 原因：参数写错。下方参数提供了可用参数： 解决： 修改参数设置为 'connector' = 'kafka-0.11...
spark flink jar包依赖
08-03
在使用这些框架时，需要根据具体的需求选择相应的依赖包，并将其添加到项目中。同时，还需要注意依赖包的版本兼容性，以避免出现不兼容的情况。 ### 回答2： Spark和Flink都是流行的大数据处理框架，它们都支持在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据架构师Pony

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值