spark-submit 任务提交指定类名错误解决:Error: Failed to load class

这是一篇新手笔记

在提交spark任务的时候,若 --class参数类名指定错误会让任务无法运行

那么如果不会看文件路径的话,如何精准找出自己打包的类名呢?

可以使用此条命令找到自己的类:

jar tf <jarfile>

找到自己需要运行的任务,就可以直接使用spark-submit命令上传任务了

spark-submit --master yarn --driver-memory 2G --driver-cores 2 --num-executors 2 --executor-memory 3g --executor-cores 4  --class spark.spark_hive1 /opt/demo2.jar

成功运行!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值