hive 跨集群迁移

hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.

1. 迁移hdfs数据至新集群

hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/
user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk

-skipcrccheck 因本次迁移涉及低版本迁移高版本, 如果hadoop版本则不需要
-update 增量更新, 通过名称和大小比较,源与目标不同则更新

2. 源集群metastore数据备份(mysql导出)

mysqldump  -u root -p’密码’  --skip-lock-tables -h xxx.xxx.xxx.xxx hive 
> xxx.sql

3. 目标集群导入metastore数据备份(mysql导入)