![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
猿侠令狐冲
阳光 善良
展开
-
hadoop源码编译的编译脚本文件
编译脚本如下:#!/bin/bashmvn package -Pdist,native,nexus -DskipTests=true -Dmaven.javadoc.skip=true -Dtar -Dcontainer-executor.conf.dir=/etc/hadoop/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/opt/develop/snappy/lib -Dsnappy.prefix=/opt/develop/snappy -Dre原创 2020-11-05 11:37:07 · 221 阅读 · 0 评论 -
hadoop使用LinuxContainerExecutor后使用root用户提交任务报错--源码修改
问题描述在hadoop3.2.1的版本中,配置cgroup对yarn的cpu资源进行隔离之后,发现,使用root用户在yarn上提交任务时,无法提交成功,并会报错:Runing as root is not allowed!最后将这些错误在源码中搜索发现以下内容:/** * Is the user a real user account? * Checks: * 1. Not root * 2. UID is above the minimum configured. * 3原创 2020-09-03 16:09:49 · 829 阅读 · 1 评论 -
Hadoop 链接数过高导致的问题
Hadoop 链接数过高导致的问题运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.根据报错的意思来看,有1个datanode正在运行,而且...原创 2020-03-30 15:43:05 · 1626 阅读 · 0 评论 -
HDFS常见的问题和处理方法积累
Hadoop常见问题与解决办法问题1:reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述:问题剖析:解决方案:问题2:Too many fetch-failures问题描述:问题剖析:解决方案:问题3:处理MR速度特别的慢问题描述:问题剖析:解决方案:问题4:能够启动datanode,但无法访问,也无法结束问题描述:问题剖析:解决方案:问题5:节点断联问题描述:...翻译 2019-08-14 14:57:58 · 6958 阅读 · 0 评论