shell脚本根据MySQL表结构创建hive表结构。

奔跑的蜗牛amg

已于 2022-05-27 11:02:01 修改

阅读量548

点赞数 1

文章标签： hive mysql hadoop

于 2022-05-27 10:57:23 首次发布

本文链接：https://blog.csdn.net/m0_67290641/article/details/124999513

版权

这个shell脚本用于根据指定的MySQL数据库连接信息和表名，自动生成对应的Hive表结构。它首先连接到MySQL，获取表的列信息和注释，然后构造Hive的CREATE TABLE语句，最后执行Hive命令创建表。

摘要由CSDN通过智能技术生成

#!/bin/bash

DB_HOST='192.168.0.00'
DB_PORT='3306'
DB_NAME=default
TBL_NAME=table
USERNAME='root'
PASSWORD='123456'
PARAMS='?characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai'

HIVE_DB='default'
HIVE_TIR='ods'
HIVE_TBL=$HIVE_TIR'_'$TBL_NAME
echo $HIVE_TBL

#构建hive建表语句

abc=$(mysql -h${DB_HOST} -P${DB_PORT} -u${USERNAME} -p${PASSWORD} information_schema -e "

SET SESSION group_concat_max_len=102400;

SELECT
CONCAT('CREATE TABLE IF NOT EXISTS ',
'${HIVE_DB}',
'.',
'${HIVE_TBL}',
' (',
SUBSTRING(column_info, 1, LENGTH(column_info) - 0),
')',
' COMMENT ',
'\'',
TABLE_COMMENT,
'\'',
' ROW FO