记一次yarn环境中应用程序jar冲突解决办法

用户编写的spark程序打包成jar后提交到yarn执行时,经常会遇到jar包中明显存在某个类,但任务提交到yarn运行时却找不到类或方法(java.lang.NoSuchMethodError)的问题。仔细看自己代码,明明有这个jar,那多半就是jar冲突了。

只有当jar的版本不一致时候才会冲突,那么本着治本精神去百度,可以找到如下文章

https://www.jianshu.com/p/0fe48bc43a8c

http://www.mamicode.com/info-detail-2338161.html

https://www.cnblogs.com/princessmeiyi/p/5238236.html

解决思路有三个1.修改hadoop配置文件  2.在提交任务时,命令行加参数  3.根据原理在代码里加片段

1,2两种方法在公司环境,行不通。3.水平有限,尝试写了,没用

所以不得不想想其他办法,那简单啊,版本不一致改为一致不就行了,过程如下

SpingBoot管理项目

</

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YARN(Yet Another Resource Negotiator)的应用程序指标如下: 1. Allocated Containers(已分配容器数):已为应用程序分配的容器数量。 2. Allocated Memory(已分配内存):已为应用程序分配的内存总量。 3. Allocated VCores(已分配虚拟内核数):已为应用程序分配的虚拟内核总数。 4. CPU Used(CPU使用率):应用程序使用的CPU百分比。 5. Memory Used(内存使用率):应用程序使用的内存百分比。 6. VCore Used(虚拟内核使用率):应用程序使用的虚拟内核百分比。 7. Aggregate Containers Allocation(容器分配总数):所有应用程序已分配的容器总数。 8. Aggregate Allocated Memory(已分配内存总数):所有应用程序已分配的内存总量。 9. Aggregate Allocated VCores(已分配虚拟内核总数):所有应用程序已分配的虚拟内核总数。 10. Aggregate CPU Used(CPU使用率总数):所有应用程序使用的CPU百分比总数。 11. Aggregate Memory Used(内存使用率总数):所有应用程序使用的内存百分比总数。 12. Aggregate VCore Used(虚拟内核使用率总数):所有应用程序使用的虚拟内核百分比总数。 1. Allocated Containers: The number of containers allocated for the application. 2. Allocated Memory: The total memory allocated for the application. 3. Allocated VCores: The total number of virtual cores allocated for the application. 4. CPU Used: The percentage of CPU used by the application. 5. Memory Used: The percentage of memory used by the application. 6. VCore Used: The percentage of virtual cores used by the application. 7. Aggregate Containers Allocation: The total number of containers allocated for all applications. 8. Aggregate Allocated Memory: The total memory allocated for all applications. 9. Aggregate Allocated VCores: The total number of virtual cores allocated for all applications. 10. Aggregate CPU Used: The total percentage of CPU used by all applications. 11. Aggregate Memory Used: The total percentage of memory used by all applications. 12. Aggregate VCore Used: The total percentage of virtual cores used by all applications.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值