将旧hdfs中的文件快速迁移到新hdfs中

1、问题描述:

之前旧的hdfs服务不用了,想要新搭一个hdfs服务,但旧的数据还想要使用,那么我们怎么将旧hdfs服务中的数据快速迁移到新hdfs服务中呢?

2、操作步骤:

2.1 描述:

三条命令即可:同一台服务器,只需步骤(1)(2)。不同服务器,需(1)(3)(2)

2.2  步骤:

(1)获取目标hdfs中的文件,存储到当前文件下

  • hadoop fs -get  目标hdfs文件路径

  • hadoop fs -get /hive/warehouse/sales_presentation.db/ods_important_systems_periodic/*

(2)提交到所要迁移的新hdfs

  • hadoop fs -put  获取文件后存储的本地位置  新hdfs的文件存储路径

  • hadoop fs -put /opt/hive/hdfstest  /hive/warehouse/sales_presentation.db/hdfstest/

(3)如果是俩台不同的服务器,那么拿到的文件怎么推送到另一台服务器上,然后在提交到hdfs中呢?

  • scp -r  A服务器文件位置  B服务器用户名@ip:B服务器存储文件位置

  • scp -r /opt/A/test  root@192.168.140.83:/opt/B/test/

到此,数据迁移完成! 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值