window下eclipse运行集群mr时错误总结

最新推荐文章于 2024-08-12 10:33:22 发布

super选择题

最新推荐文章于 2024-08-12 10:33:22 发布

阅读量279

点赞数

分类专栏： hadoop 文章标签： window下eclipse运行集群mr时错误总结 window下eclipse运行集群mr

本文链接：https://blog.csdn.net/superXZT/article/details/83352387

版权

hadoop 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

1.集群提交修改项

a.确保JobAPP提交至集群
解决方案：修改mapred-site.xml
mapreduce.framework.name = yarn

b.报重新连接：0.0.0.0/0.0.0.0:8032
解决方案：修改yarn-site.xml文件
yarn.resourcemanager.hostname = master

C.抛异常：ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control
解决方案：修改mapred-site.xml
mapreduce.app-submission.cross-platform = true

d.无结果：没有生成Jar文件
解决方案：打jar包。放置到classpath下：右键jar包-->Bulid Path-->add to Bulid Path

e.报重新连接：0.0.0.0/0.0.0.0:10020端口
解决方案：开启history server
$>mr-jobhistory-daemon.sh start historyserver
修改mapred-site.xml：mapreduce.jobhistory.address = master:10020

2：运行没有显示日志信息

在hadoop的安装目录下的share目录下搜索log4j.properties（大小约10.9k），把它放入工程的src下

3：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=EXECUTE, inode="/tmp/hadoop-yarn/staging/Administrator/.staging":michael:supergroup:drwxrwx---

有以下四种方法解决：

       1、把用户名改成和集群中用户名一致

       2、在环境变量里面加上HADOOP_USER_NAME     值是集群中用户名（需要重启）

       3、右键-》run as -》run Configurations -》选中要运行的工程 -》第二个选项卡Arguments -》 VM arguments下加上-DHADOOP_USER_NAME=你的集群上的用户名

       4、去掉权限验证

           在集群的hdfs-site.xml下加入下面配置

              <property>

              <name>dfs.permissions.enabled</name>

              <value>false</value>

              <description>

                  If "true", enable permission checking in HDFS.

                  If "false", permission checking is turned off,

                  but all other behavior is unchanged.

                  Switching from one parameter value to the other does not change the mode,

                  owner or group of files or directories.

              </description>

              </property>