1、问题描述:
之前旧的hdfs服务不用了,想要新搭一个hdfs服务,但旧的数据还想要使用,那么我们怎么将旧hdfs服务中的数据快速迁移到新hdfs服务中呢?
2、操作步骤:
2.1 描述:
三条命令即可:同一台服务器,只需步骤(1)(2)。不同服务器,需(1)(3)(2)
2.2 步骤:
(1)获取目标hdfs中的文件,存储到当前文件下
hadoop fs -get 目标hdfs文件路径
hadoop fs -get /hive/warehouse/sales_presentation.db/ods_important_systems_periodic/*
(2)提交到所要迁移的新hdfs
hadoop fs -put 获取文件后存储的本地位置 新hdfs的文件存储路径
hadoop fs -put /opt/hive/hdfstest /hive/warehouse/sales_presentation.db/hdfstest/
(3)如果是俩台不同的服务器,那么拿到的文件怎么推送到另一台服务器上,然后在提交到hdfs中呢?
scp -r A服务器文件位置 B服务器用户名@ip:B服务器存储文件位置
scp -r /opt/A/test root@192.168.140.83:/opt/B/test/
到此,数据迁移完成!