记录一次hadoop学习中因为自定义机架给自己挖的坑

最新推荐文章于 2022-01-27 04:31:52 发布

ni1992369

最新推荐文章于 2022-01-27 04:31:52 发布

阅读量157

点赞数

文章标签： hive insert

本文链接：https://blog.csdn.net/ni1992369/article/details/100741517

版权

在hive进行数据插入是报

Stack trace: ExitCodeException exitCode=1:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
        at org.apache.hadoop.util.Shell.run(Shell.java:455)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

在网上查找都说是yarn内存配置问题，进行了修改之后还是报错。然后进入对应主机查看yarn调度日志，

assNotFoundException: Class com.yusys.rackaware.MyRackAware not found
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2101)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2193)

实际上是自己以前进行自定义机架改造时，将jar包只放在了namenode所在的主机，其他主机上没有，将jar包同步到其他主机，重启hadoop，hive插入数据成功。