![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop集群搭建
holomain
足够明亮,做够善良
展开
-
HDFS命令批量创建文件夹和文件
批量成绩文件夹:hadoop fs -mkdir -p /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/批量创建文件:hadoop fs -touchz /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/{1…3}.orc最终...原创 2019-12-31 10:52:56 · 3264 阅读 · 0 评论 -
Hadoop 集群启动后,从节点的NodeManager没有启动解决
1.slaves节点报错,报的是启动nodemanager 所需内存不足解决: a: 修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024, b.修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G2.nodemanager节点报错Unexpected error原创 2016-11-25 22:42:08 · 20815 阅读 · 1 评论 -
hadoop2.5.2 启动成功后,用jps查看节点:发现少了DataNode
使用less ~/hadoop-2.5.2/logs/hadoop-zkpk-datanode-pxe01.log 查看日志得知: datanode的clusterID 和 namenode的clusterID 不匹配。解决办法:1.找到 ~/hadoopdata/dfs/name/current/VERSION 里的 clusterID 2.复制clusterID到各个没有启动的节点的~原创 2016-11-27 19:20:00 · 5322 阅读 · 0 评论