Hive 数据迁移与备份

最新推荐文章于 2025-05-07 12:48:38 发布

人生匆匆

最新推荐文章于 2025-05-07 12:48:38 发布

阅读量1.2k

点赞数 4

分类专栏： hadoop 文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/a13568hki/article/details/136804132

版权

本文详细介绍了如何使用Hive的export和import工具进行数据库表及其数据的迁移，包括导出到HDFS，跨集群复制，以及在不同网络环境下的数据传输策略。还涉及了事务管理对迁移过程的影响和必要设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

迁移类型

同时迁移表及其数据（使用import和export）

迁移步骤

将表和数据从 Hive 导出到 HDFS
将表和数据从 HDFS 导出到本地服务器
将表和数据从本地服务器复制到目标服务器
将表和数据从目标服务器上传到目标 HDFS
将表和数据从目标 HDFS 上传到目标 Hive 库
如果原始 HDFS 和目标 HDFS 集群连通，可使用 DiskCP 工具直接跨集群复制，而跳过2~4步

在这里插入图片描述
一、Export、Import

Export
    导出，将Hive表中的数据，导出到外部
Import
    导入，将外部数据导入Hive表中

二、Export

1、语法

EXPORT TABLE tablename TO "export_target_path";

2、用法

#把tshang表导出到hdfs上
hive (default)> EXPORT TABLE lijia.tshang TO "/tmp/hive_data/lijia";
hive (default)> exit
[root@ /opt/PE/hive_data]# hadoop fs -ls /tmp/hive_data/lijia/tshang
Found 2 items
-rw-r--r--   3 hive hdfs       1262 2024-03-18 17:35 /tmp/hive_data/lijia/tshang/_metadata
drwxr-xr-x   - hive hdfs          0 2024-03-18 17:35  /tmp/hive_data/lijia/tshang/data

HDFS 集群连通时使用 DiskCP 进行拷贝
hadoop distcp hdfs://scrNmaeNode/tmp/<db_name> hdfs://targetNmaeNode/tmp

HDFS 集群不连通
hadoop fs -get /tmp/hive_data
scp -r hive_data root@targetAP:/tmp/
上传到目标 HDFS
hadoop fs -put /tmp/hive_data /tmp/

三、Import

1、语法

IMPORT TABLE tablename FROM "source_path";

2、用法

#先创建lijia库导入数据
hive (default)> create database lijia;
OK
Time taken: 0.012 seconds


<

最低0.47元/天解锁文章