yarn报错集

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. File does not exist: hdfs://master:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.0-mr-framework.tar.gz

解决:
1.find / -name 3.0.0-cdh6.2.0-mr-framework.tar.gz
2.cd /yarn/nm/filecache/10/
3. hadoop fs -put 3.0.0-cdh6.2.0-mr-framework.tar.gz /user/yarn/mapreduce/mr-framework/

1/1 local-dirs have errors: [ /dfs/dn1/yarn/nm : Cannot create directory: /dfs/dn1/yarn/nm ] 1/1 log-dirs have errors: [ /dfs/dn1/yarn/container-logs : Cannot create directory: /dfs/dn1/yarn/container-logs ]
背景:云主机磁盘,只有40G,装完后还剩下20G+,因为安装时,并没有挂载磁盘,目录都是默认的,因此,多有的数据,包括日志等都存放在主磁盘上,当然也包括namenode的磁盘文件(方便namenode挂了的时候恢复到内存中)等等,因此在跑程序的时候,一下子就占满了磁盘,所以只能把这部分大文件迁移到挂载的目录下
迁移之后,发现yarn过会就挂了,猜测是目录的权限问题,更改目录的权限:
chown -R yarn:hadoop /dfs/dn1/yarn/
chmod 755 -R /dfs/dn1/yarn/

注意:
请注意/dfs/dn1 的目录权限问题 默认是700权限,需要把/dfs/dn1 权限改为770,否则的话,yarn是检测不到的,依旧不报如上错误

hive执行程序报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Container exited with a non-zero exit code 143.
两个报错的原因都是因为资源的问题,实际情况请看日志
解决办法:set mapreduce.map.memory.mb=2048
参考:https://blog.csdn.net/qq_26442553/article/details/80143559 https://www.cnblogs.com/yueweimian/p/4667888.html