手工转移HDFS位于磁盘的文件

假如,我是说假如不想使用diskbalancer来完成主机内部的磁盘平衡任务,我们可以用这个方法来完成数据的磁盘间转移(繁琐而又精细,我是不愿意这么搞!)

前言

  • 如果你发现执行hdfs diskbalancer -plan 主机名称这条命令报错
  • 如果你发现不报错但是你也不想这么干
  • 如果因为某种原因需要转移dfs的某个文件夹

你就可以继续往下看了

  1. 找到你想转移的文件夹
  2. 停止hdfs服务(意味着需要停止好多好多的依赖服务)
  3. 根据hdfs配置中的data-dir进行Linux的mv操作
  4. 启动hdfs服务(并且启动依赖hdfs的其他服务)

由于过程实在是太简单了,我就截两张图算了,不想写过程了

  • 转移前做了一次磁盘统计
    数据转移前磁盘统计

  • 开始转移,且在转移后又进行了一次磁盘统计
    数据转移后

  • 服务启动后可以观察到集群的全部服务均正常,没有任何异常出现,very happy!
    转移以后观察一下cm

  • 我把hdfs的data-dir目录新增了1个,然后又做了一次hdfs diskbalancer,然后又看了看hdfs的健康情况,发现这么一番折腾还是健康的,可见手工转移的方法是行之有效的。

备注:我这个集群属于测试集群,整个集群只有一张dim_data表,里面存储了123431672条测试记录,我进行了数据转移后,这张表的记录数仍然是123431672条,且随机读取了任意条记录,均是正确的。而后我分别使用了hive及impala进行了查询,均正常,观察CM控制台24小时,均正常。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值