迁移映射-java.lang.NoclassDefFoundError:org/apache/hadoop/yarn/exceptions/YarnException

最新推荐文章于 2024-06-26 15:40:10 发布

Bohemian—Rhapsody

最新推荐文章于 2024-06-26 15:40:10 发布

阅读量206

点赞数

文章标签： hadoop java apache

本文链接：https://blog.csdn.net/X_yufei/article/details/130330262

版权

文章描述了一种解决Hive在数据治理平台迁移过程中出现的Yarn异常的方法。通过检查和对比jar包，特别是DP项目的lib目录，寻找缺失的hadoop-yarn-api.jar，并用相应版本替换，从而解决报错问题。

摘要由CSDN通过智能技术生成

数据治理平台 hive迁移提示yarn错误，具体报错截图如下(org/apache/hadoop/yarn/exceptions/YarnException)

解决方式:
通过jar包查找脚本，查询提示报错类是否存在，一般情况下数据治理dp的lib下的jar是最全的，如果dp找不到的话尝试去其它项目找找看，最终发现缺少hadoop-yarn-api...jar 。按照hadoop其它jar版本替换对应缺少jar版本即可。

#!/bin/bash
total=`ls -l *.jar |wc -l`
finish=0
ls *.jar | while read jarfile; do
   # echo "$jarfile"
    vclass=`jar -tf $jarfile | grep "$1"`
    if [ ! ${#vclass} = 0  ];then
	echo "$jarfile"
	echo "$vclass"
    fi
    finish=$(($finish+1))
    echo -ne "jar包总数为：${total},已扫描：${finish}\r"
done
echo ""