hadoop 用户创建data目录时 DataNode无法启动

最新推荐文章于 2022-01-12 11:15:22 发布
最新推荐文章于 2022-01-12 11:15:22 发布
阅读量4.8k 收藏 1
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liema2000/article/details/8785263
版权
在Centos 6.4环境下，使用hadoop 0.20.205时，通过hadoop用户创建data目录会导致DataNode无法启动。日志显示权限错误，预期为rwxr-xr-x，实际为rwxrwxr-x。解决方案是将目录权限更改为755。使用root用户创建目录则不会出现此问题，提醒我们在Hadoop配置中要注意文件权限和用户组设置，确保服务正常运行。
摘要由CSDN通过智能技术生成

场景：Centos 6.4 X64

     hadoop 0.20.205

配置文件

hdfs-site.xml

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>


<property>
<name>dfs.replication</name>

最低0.47元/天 解锁文章
liema2000
关注
专栏目录
Hadoop遇到的问题
weixin_51930116的博客
06-21 670
问题1：sbin启动./start-all.sh，jps查看服务，发现没有datanode，namenode 解决：删除掉dfs文件夹中name和data文件夹里的所有内容 去到$HADOOP_HOME/bin下面执行 重启即可 问题2：hadoop集群启动namenode成功，而datanode未启动 解决：修改VERSION文件。 在namenode节点上打开: 进入hadoop-2.4.1/tmp/dfs/name/current/ 打开VERSION： vi VERSION 复制clustre
hadoop1.2.1 datanode 由于权限无法启动 expected: rwxr-xr-x
weixin_30810583的博客
04-08 82
/************************************************************ STARTUP_MSG: Starting DataNode STARTUP_MSG: host = hdp122s1.test.com/192.168.56.101 STARTUP_MSG: args = [] STARTUP_MSG: ...
启动fdfs_storaged不报错,但服务并未启动
zhh347713307的博客
06-08 2729
启动fdfs_storaged不报错,但服务并未启动问题 如题 启动后没有报错，但是查看进程缺发现没有启动 1.第一次不成功——logs日志报错：ERROR - file: storage_func.c, line: 1183, conf file “/etc/fdfs/storage.conf”, tracker: “127.0.0.1:22122” is invalid, tracker server ip can’t be 127.0.0.1 更改ip为服务器ip再启动，依然查不到进程，并且没有错误日
初步启动datanode成功，但是data文件夹没有生成Current
Axel_Fran的博客
12-11 5129
首先明确以下，我的问题不同于 多数问题（统一启动集群时，datacode 无法启动的问题。） 如标题所示，本文问题所指：《成功启动datanode (hadoop-daemon.sh start datanode). 也成功生成 文件夹 /root/hdpData/data/. 但是没有生成 current文件夹》。 也就是这个datanode 并没有加入到Namenode 同个集群 我的环境： 配置机器: A(namenode),/root/hdpData/name/current/* 成...
hadoop格式化namenode后导致datanode无法启动
阿尼古
04-01 1146
hadoop格式化namenode后导致datanode无法启动 首先贴报错哈，错误不一样，就不用往下看了。。。 报错截图 错误分析 Failed to add storage directory [DISK]file:/Users/zhangchenguang/software/hadoop-2.7.3/tmp/dfs/data/ java.io.IOException: Inco...
Hadoop的datanode进程无法启动
Bewith133的博客
04-15 7419
Hadoop的datanode进程无法启动解决方案 Hadoop含有path路径，在主节点执行start-all.sh，输入jps查看进程 start-all.sh jps 发现节点中DataNode进程没有启动。 解决方案 第一种： 每次格式化前，要先关闭，然后再格式化，最后启动。 stop-all.sh hdfs namenode -format start-all.sh 第二种： 执行前如果dfs中有重要的数据，我们要先对其进行修改。如果没有重要数据直接进入操作 cd /usr/local/had
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8972
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop集群改名导致无法启动DataNode
持续学习持续开发，我是雷学委！
05-15 375
Hadoop集群更名 导致无法启动D a ta N o de 错误描述 之前集群能够启动各个节点的。 因为最近集群改名了，启动NameNode可以的。 启动DataNode没有任何提示。 进入hadoop logs目录查找hadoop-root-datanode-bd-cluster1.log文件发现下面的错误。 错误关键信息： org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/
hadoop搭建过程.docx
06-10
HADOOP 搭建过程.docx 详细步骤说明. 免费下载
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
踩坑：再次格式化hdfs就jps命令显示DataNode未启动
japson的专栏
05-31 1623
踩坑：再次格式化hdfs就jps命令显示DataNode未启动 标签（空格分隔）： 踩坑 修改了hadoop的core.site.xml后，我自以为是地重新格式化了一下hdfs:hdfs namenode -format忘记了不能再次格式化的忠告！ 结果就出现了jps中显示DataNode没启动的问题 出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了...
大数据入门系列 5：全网最全，Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
白鹿第一帅的 CSDN 博客
12-22 9773
本篇文章是大数据基础系列的第五篇，完全针对 HDFS 文件系统，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。对大数据系列感兴趣的同学可以移步本人大数据专栏查看更多内容。
data node的目录权限不正确会导致datanode启动不了
my_vips的专栏
06-03 991
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/hadoop-1.1.2/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
Hadoop datanode正常启动，但是Live nodes中却缺少节点的问题
wk51920的专栏
06-21 2万+
背景       最近在管理集群时发现明明所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时，通过web页面查看http://master:50070，在Live Node那一栏也显示只有一个节点，点击进入该节点查看情况，发现是node1，但诡异的是：这时候点击刷新，刷新后的live node数仍然为1，但却变
怎么创建 Hadoop 的 namenode 和 datanode 目录
最新发布
05-29
要创建 Hadoop 的 namenode 和 datanode 目录，可以按照以下步骤进行： ...注意：在执行以上命令时，需要确保 Hadoop 的配置文件已正确设置，并且当前用户对 namenode 和 datanode 目录有读写权限。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值