跨Hadoop平台Hive表export和import迁移

最新推荐文章于 2023-02-04 13:36:48 发布

fjssharpsword

最新推荐文章于 2023-02-04 13:36:48 发布

阅读量7.9k

点赞数 1

分类专栏： Big data Hadoop专栏

本文链接：https://blog.csdn.net/fjssharpsword/article/details/62416422

版权

场景：两个Hadoop平台集群之间Hive表迁移。
思路：Hive表元数据和文件数据export到HDFS文件，通过Distcp将HDFS迁移到另一个集群的HDFS文件，再通过import在新Hive中建表；

1、原平台：Hive表元数据和文件数据到export到平台HDFS文件

1）hive下执行如下命令：

#export table conf_adsl_app to '/tmp/hive-export/conf_adsl_app';

conf_adsl_app表的外部存储路径：hdfs://nameservice-ha/user/hive/warehouse/conf_adsl_app
2）可以看到hdfs输出目录下有元数据和文件数据；

hadoop fs -ls /tmp/hive-export/conf_adsl_app/
     Found 2 items
     -rwxr-xr-x   3 hdfs supergroup       1309 2017-03-16 08:03 /tmp/hive-export/conf_adsl_app/_metadata
     drwxr-xr-x   - hdfs supergroup          0 2017-03-16 08:03 /tmp/hive-export/conf_adsl_app/data

3）3）查看hadoop fs -cat /tmp/hive-export/conf_adsl_app/_metadata元文件
可看到文件路径是：hdfs://nameservi