hadoop之理解tmp目录下的文件

1)修改tmp路径 解决办法将原来name copy
/home/crx/tmp (这个路径是之前在HADOOP_HOME/etc/hadoop/core-site.xml 中name标签下配置的路径)
(修改目录后,新目录是没有之前的数据的。但之前的目录依旧存在,所以需要将之前目录里的东西拷贝到
新目录里)

2)不删除tmp目录, 直接格式化
格式化HDFS namenode
$>hdfs namenode -format
(格式化namenode 会为namenode重新生成一个clusterID)
解决办法修改clusterID(~/tmp/dfs/name/current/VERSION 按照原datanode secondaryanmenode的clusterID修改)

3)~/tmp 删除掉,重新格式化,原有HDFS的数据全部删除掉

注:(2),(3)都是格式化namenode的方法

4)将SecondaryNameNode中数据拷贝到NameNode存储数据的目录(namenode数据丢失情况)
1、kill -9 NameNode进程
2、删除NameNode存储的数据目录中的数据 (~/tmp/dfs/name/current
3、拷贝SecondaryNameNode中数据到原NameNode存储数据目录
(dfs下有namenode 和secondnamenode,拷贝secondnamenode中的 current给namenode)
4、重新启动NameNode hadoop-daemon.sh start namenode

5)理解停止服务器,开启服务器后fsimage的变化
正在编辑的文件日志后面的数字变大

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值