跨集群hive批量建表

本文介绍了如何在集群A中获取Hive表的建表语句,然后将其同步到集群B并修复历史分区。操作包括在A集群中导出建表语句,通过文件传输到B集群,最后使用hive -f命令在B集群执行建表。过程中需要注意HDFS操作的权限问题。总共涉及到9张表的同步工作。
摘要由CSDN通过智能技术生成

【需求】
在集群A建表,需要同步到集群B并修复历史分区。表用到的数据源在云上。

【操作过程】先在老集群A中获取指定表的建表语句,把建表语句放到文件中,再把该文件发送到B集群中,最后用hive -f 执行该文件即可在B集群批量建表。

【注意】hive -f时涉及的HDFS操作权限问题
A集群有9个表要同步到B集群
[hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster

# 9个表是:
[hive@bigdata-master-1 ~]$ cat tables_ToBeCreated_onOtherCluster
tony_db.member_sign_gift
tony_db.member_sign_in
tony_db.member_sign_in_addition
tony_db.​member_sign_in_month
tony_db.​member_sign_user_day_award​
tony_db.​member_sign_user_month_award​
tony_db.member_sign_day_reward
tony_db.member_sign_month_reward
tony_db.​member_sign_recharge_config​

[hive@bigdata-master-1 ~]$ cat tables_ToBeCreated_onOtherCluster | while read tb; do hive -e "SHOW CREATE TABLE $tb" | grep -vE "Logging|OK|seconds" >> create_table.sql; echo finished ____ $tb; done
Logging initialized using configuration in file:/etc/hive/2.5.0.0-1245/0/hive-log4
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值