hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.
1. 迁移hdfs数据至新集群
hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/
user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk
-skipcrccheck
因本次迁移涉及低版本迁移高版本, 如果hadoop版本则不需要
-update
增量更新, 通过名称和大小比较,源与目标不同则更新
2. 源集群metastore数据备份(mysql导出)
mysqldump -u root -p’密码’ --skip-lock-tables -h xxx.xxx.xxx.xxx hive
> xxx.sql