Shell批量获取hive库中的建表语句

这里采用Shell的方法在hive库里面循环执行”show create table“获取其对应的建表语句;两个脚本,分别是两种方式,一个是”show tables”后将表列表生成文件,然后根据读取文件进行建表语句的查询;而第二种是在for条件中直接获取表的列表清单,然后查询建表语句;很明显,后一种方式简单明了。
1、第一种方式
/home/hadoop/nisj/xx/Yao/hiveTabMetaBak1.sh

[hadoop@emr-worker-9 Yao]$ cat hiveTabMetaBak1.sh 
#!/bin/bash
hive -e "show databases ;" > db.txt
cat db.txt | while read db
do
hive -e "use $db;show tables '*';" > tables.txt
rm -rf tablesDDL.txt
sleep 2
cat tables.txt |while read eachline
do
hive -e "use $db;show create table $eachline;" >> $db.txt
echo -e "---------------------------- $eachline table structure generate finished! -------------------------------\n\n">> $db.txt
done
doner-9 Yao]$ 

2、第二种方式
/home/hadoop/

nisj/xx/Yao/hiveTabMetaBak2.sh

[hadoop@emr-worker-9 Yao]$ cat hiveTabMetaBak2.sh  

#!/bin/bash

rm -rf tablesDDL.txt

for hiveTabName in $(hive -e "show tables 'rcd*';")

do

hive -e "show create table $hiveTabName;" >>tablesDDL.txt

echo -e "---------------------------- $hiveTabName table structure generate finished! -------------------------------\n\n">>tablesDDL.txt

done

[hadoop@emr-worker-9 Yao]$ 
其实,可以将脚本放在任意的文件

目录下也可。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用以下步骤将MySQL表转换为Hive表并生成表语句: 1. 在MySQL运行SHOW CREATE TABLE语句,以获取MySQL表的表语句。 2. 将表语的引擎和字符集替换为Hive支持的引擎和字符集。 3. 将表语的数据类型替换为Hive支持的数据类型。 4. 将表语的AUTO_INCREMENT删除,因为Hive不支持自增长。 5. 将表语的主键和索引删除,因为Hive不支持主键和索引。 6. 将表语的分隔符替换为Hive支持的分隔符。 7. 生成Hive表语句并保存到文件。 下面是一个示例Python脚本,可以将MySQL表转换为Hive表并生成表语句: ```python import re def convert_mysql_to_hive(mysql_create_table): # Replace engine and character set hive_create_table = mysql_create_table.replace('ENGINE=InnoDB', '') hive_create_table = hive_create_table.replace('DEFAULT CHARSET=utf8', 'ROW FORMAT DELIMITED FIELDS TERMINATED BY \',\'') # Replace data types hive_create_table = re.sub(r'int\(\d+\)', 'int', hive_create_table) hive_create_table = re.sub(r'varchar\(\d+\)', 'string', hive_create_table) hive_create_table = re.sub(r'text', 'string', hive_create_table) hive_create_table = re.sub(r'datetime', 'timestamp', hive_create_table) # Remove auto increment hive_create_table = re.sub(r'AUTO_INCREMENT=\d+ ', '', hive_create_table) # Remove primary key and indexes hive_create_table = re.sub(r',\n\s+PRIMARY KEY \(.+?\)', '', hive_create_table) hive_create_table = re.sub(r',\n\s+KEY .+? \(.+?\)', '', hive_create_table) # Replace delimiter hive_create_table = hive_create_table.replace(';', '\n') return hive_create_table # Example usage mysql_create_table = "SHOW CREATE TABLE mytable" hive_create_table = convert_mysql_to_hive(mysql_create_table) with open('hive_create_table.sql', 'w') as f: f.write(hive_create_table) ``` 你需要将`mysql_create_table`替换为你的MySQL表语句,并将生成的Hive表语句保存到`hive_create_table.sql`文件

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值