![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
chunguang.yao
我在github,在这里我会分享一些学习笔记和项目
https://github.com/yaochunguang
展开
-
mkdir: Cannot create directory /file. Name node is in safe mode.
刚刚在hadoop想创建一个目录的时候,发现报错了具体信息如下:[hadoop@mini1 hadoop-2.6.4]$ hadoop fs -mkdir /filemkdir: Cannot create directory /file. Name node is in safe mode.从错误信息可以看到hadoop当前的namenode是处于安全模式。解决:[ha...原创 2019-03-09 00:51:22 · 2910 阅读 · 0 评论 -
HADOOP集群搭建
集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起(也就是说需要分别部署HDFS集群和YARN集群,但是这两个集群在一个机器上部署)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNodeYARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /No...原创 2019-03-08 01:14:10 · 275 阅读 · 0 评论 -
mapreduce.Job: Running job: job_1553100392548_0001
这几天一直在尝试一个mapreduce的例子,但是一直都是卡在mapreduce.Job: Running job: job_1553100392548_0001,查看日志也不报错,查看每个配置文件没有问题,很纳闷。今晚决定把整个流程梳理一下,试图找出问题原因,果然功夫不负有心人。首先来说一下现象运行的时候一直卡在这个界面也没有报错。很奇怪。然后访问Applications查看...原创 2019-03-21 01:35:39 · 2539 阅读 · 4 评论 -
apache软件库
在我们平时的开发中,apache是我们接触得最多的开源组织,并且apache为我们提供了很多很牛的软件,包括我们常用的tomcat,hadoop,flume。。。等我们都可以在如下的软件仓库中找到http://archive.apache.org/dist/点击对应的目录进去就可以找到我们需要的版本的软件...原创 2019-05-16 23:04:27 · 878 阅读 · 0 评论 -
Hadoop 2.6.4集群启动报错java.io.IOException: All specified directories are fail
之前在自己本地的电脑上安装了3个linux机器来搭建hadoop集群,前面一段时间是使用三台来进行练习,后面发现电脑内容有点紧,就切换为两台。最近给电脑加了内存之后,就想把三台一起启动了。但是发现之前一直没用的那台没能起来,就去查看日志。到mini3机器的日志目录,查看日志:由错误日志可以看出来是当前机器的集群id和nameNode的集群id不相同,导致该节点无法加入集群...原创 2019-05-26 00:54:06 · 336 阅读 · 0 评论