hadoop文件存储位置_hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析...

本文详细解析了Hadoop HDFS的默认数据存放路径,包括${hadoop.tmp.dir}/dfs/name、${hadoop.tmp.dir}/dfs/data和${hadoop.tmp.dir}/dfs/namesecondary,并介绍了如何更改这些路径以避免数据丢失。当更改路径后,启动namenode服务遇到问题时,可以通过重新格式化或复制原有路径下的文件来解决。
摘要由CSDN通过智能技术生成

hdfs默认数据存放路径

1.  默认存放路径:{hadoop.tmp.dir} = /tmp/hadoop-${user.name}

即:$>  /tmp/hadoop-hyxy,

注意:/tmp是临时存放文件的路径,但是有时候系统重启,或者数据量太大的时候,系统会

删除里面某些数据,因此一般会修改路径到当前用户目录下:

即:$>   /home/hyxy/tmp/hadoop

理解格式化:

理解格式化的含义{创建dfs/name/fsimage和edit文件,针对namenode的守护进程}

开启namenode进程会失败:

失败的原因是:我们在core-site.xml修改了tmp路径:【/home/hyxy/tmp/hadoop】,

启动namenode服务的时候,系统找不到原来的路径:/${hadoop.tmp.dir}/dfs/name,

解决方法:

a.重新格式化,但,原有的HDFS的数据全部删除掉

b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下,问题解决。

2.查看系统日志

{$HADOOP_HOME/logs}:

如果服务没起来,可以查看日志文件,要是不想查看日志信息,可以hdfs  namenode /datanode;

也 可以查看出错的信息。

3.分别设置dfs的相关目录{name , data , namesecondary}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值