集群迁移hive表(无建表语句)

23 篇文章 1 订阅
12 篇文章 0 订阅

生产环境账号回收,需要把所有数据表迁移到测试环境!!!
上百张表,已经找不到原始建表语句,只能自己想办法了。
百度很久,最终决定通过shell把从集群上把建表语句下载下来:
新建list_tables.sql

use db;
show tables;

新建show_create.sql

use db;
show create table ${hiveconf:table};

download_test.sh

#! /bin/bash
hive -S -f list_tables.sql > tables_name.txt
cat tables_name.txt | while read eachline
do
    hive -hiveconf table=${eachline} -S -f show_create.sql >> tables_structure.txt
    echo >> tables_structure.txt
done
hdfs dfs -put *.txt /user/asmp/shell
rm -rf tables_name.txt tables_structure.txt

最终把建表语句下载到tables_structure.txt中,经过简单处理在测试集群执行。

注意事项:
表名和字段不支持中文注释 COMMENT ‘???’,最好手动处理下。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值