一行代码实现mysql建表语句格式化成hive建表语句

已于 2024-04-26 18:49:02 修改
阅读量266 收藏 1
点赞数 4
文章标签： mysql hive 数据库
于 2024-04-26 18:45:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laozaoxiaowanzi/article/details/138226066
版权

前言

写这篇文章的目的就是想浅浅记录下日常工作中的小成就

背景

因为我们公司的数据平台在抽数据的时候无法自动生成ODS层hive格式的建表语句，而业务库的一些表字段又非常多，手动+excel修改耗时耗力，于是想通过一个Python脚本自动将mysql格式的建表语句转换成hive格式的。

转换前：

CREATE TABLE `ai_warning_info` (
  `id` varchar(40) NOT NULL COMMENT '主键',
  `community_id` varchar(40) NOT NULL DEFAULT '' COMMENT '园区id',
  `ai_warning_config_id` int(11) NOT NULL COMMENT '预警信息配置表主键id',
  `warning_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '预警状态(1:待处理；2:已恢复；3:已处理（后台预警管理操作 直接处理/生成工单，则这条预警信息变成已处理）)',
  `warning_content` varchar(500) NOT NULL DEFAULT '' COMMENT '预警内容',
  `warning_rank` tinyint(4) NOT NULL DEFAULT '0' COMMENT '预警级别(1:严重;2:重要;3:一般)',
  `warning_time` datetime DEFAULT NULL COMMENT '预警时间',
  `intime` datetime DEFAULT NULL COMMENT '写入时间',
  `update_time` datetime DEFAULT NULL COMMENT '更新时间',
  `remark` varchar(500) NOT NULL DEFAULT '' COMMENT '说明',
  `operate_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '预警处理方式1:直接处理；2:生成工单',
  `operate_user_id` varchar(45) NOT NULL DEFAULT '' COMMENT '预警信息处理人id',
  `operate_user_name` varchar(45) NOT NULL DEFAULT '' COMMENT '预警信息处理人name',
  `operate_time` datetime DEFAULT NULL COMMENT '预警信息处理时间',
  `order_id` varchar(40) DEFAULT '' COMMENT '工单id',
  `order_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '工单状态 0缺省 1待接收 2处理中 3已处理 4已完成 5已关闭 6待处理',
  `recovery_time` datetime DEFAULT NULL COMMENT '恢复时间',
  `warning_trigger_id` varchar(45) NOT NULL DEFAULT '' COMMENT '触发预警事件的记录id',
  `warning_type` tinyint(4) NOT NULL COMMENT '预警事件类型(1离园预警 2车辆违停 3消防通道占用)',
  `work_order_identity` int(10) DEFAULT NULL COMMENT '新旧工单标识字段 1：老工单，2：新工单',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE KEY `id_UNIQUE` (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='ai预警信息';

转换后：

CREATE TABLE IF NOT EXISTS ods_wspace_ai_warning_info_df (
      id                             STRING COMMENT  '主键'
     ,community_id                   STRING COMMENT  ' COMMENT '
     ,ai_warning_config_id           STRING COMMENT  '预警信息配置表主键id'
     ,warning_status                 STRING COMMENT  '预警状态(1:待处理；2:已恢复；3:已处理（后台预警管理操作 直接处理/生成工单，则这条预警信息变成已处理）)'
     ,warning_content                STRING COMMENT  ' COMMENT '
     ,warning_rank                   STRING COMMENT  '预警级别(1:严重;2:重要;3:一般)'
     ,warning_time                   STRING COMMENT  '预警时间'
     ,intime                         STRING COMMENT  '写入时间'
     ,update_time                    STRING COMMENT  '更新时间'
     ,remark                         STRING COMMENT  ' COMMENT '
     ,operate_type                   STRING COMMENT  '预警处理方式1:直接处理；2:生成工单'
     ,operate_user_id                STRING COMMENT  ' COMMENT '
     ,operate_user_name              STRING COMMENT  ' COMMENT '
     ,operate_time                   STRING COMMENT  '预警信息处理时间'
     ,order_id                       STRING COMMENT  ' COMMENT '
     ,order_status                   STRING COMMENT  '工单状态 0缺省 1待接收 2处理中 3已处理 4已完成 5已关闭 6待处理'
     ,recovery_time                  STRING COMMENT  '恢复时间'
     ,warning_trigger_id             STRING COMMENT  ' COMMENT '
     ,warning_type                   STRING COMMENT  '预警事件类型(1离园预警 2车辆违停 3消防通道占用)'
     ,work_order_identity            STRING COMMENT  '新旧工单标识字段 1：老工单，2：新工单'
)
COMMENT 'ai预警信息'
PARTITIONED BY ( ds BIGINT )
STORED AS PARQUET;"

转换脚本是我让我小姐妹写的，她起初发给我的是这样的：

import os
import re
import traceback

import pandas as pd

pattern = r"[`']([^`']+)[`']"
tradition_ = 'COMMENT'
common_part = ' STRING COMMENT '


def modify_row(row):
    sql_row = row[0]
    if 'CREATE TABLE' in sql_row:
        return row
    if 'COMMENT=' in sql_row:
        comment = sql_row.split('COMMENT=')[-1].replace(';', '').replace(' ', '')
        cut_sql = ')COMMENT ' + comment + ' PARTITIONED BY (As BIGINT) STORED AS PARQUET;'
        row[0] = cut_sql
        return row
    cut_result = re.findall(pattern, sql_row)
    if len(cut_result) > 1 and tradition_ in sql_row:
        cut_sql = cut_result[0] + common_part + f"'{cut_result[-1]}'" + ','
        row[0] = cut_sql
    return row


current_dir = os.getcwd()
to_dir = os.path.join(current_dir, "results_dir")
print('current_dir:', current_dir)
print('results_dir:', to_dir)
if not os.path.exists(to_dir):
    os.mkdir(to_dir)
try:
    for file in os.listdir(current_dir):
        if file.endswith(".xlsx") or file.endswith(".xls"):
            file_path = os.path.join(current_dir, file)
            to_file_path = os.path.join(to_dir, file)
            df = pd.read_excel(file_path)
            df.apply(modify_row, axis=1)
            df.to_csv(to_file_path, index=False)
except:
    print(traceback.format_exc())

还给我解释了一下，真的太有爱了，啊哈哈哈哈

不过这个转换完是下面这样：

CREATE TABLE `ai_warning_info` (
id STRING COMMENT '主键',
community_id STRING COMMENT ' COMMENT ',
ai_warning_config_id STRING COMMENT '预警信息配置表主键id',
warning_status STRING COMMENT '预警状态(1:待处理；2:已恢复；3:已处理（后台预警管理操作 直接处理/生成工单，则这条预警信息变成已处理）)',
warning_content STRING COMMENT ' COMMENT ',
warning_rank STRING COMMENT '预警级别(1:严重;2:重要;3:一般)',
warning_time STRING COMMENT '预警时间',
intime STRING COMMENT '写入时间',
update_time STRING COMMENT '更新时间',
remark STRING COMMENT ' COMMENT ',
operate_type STRING COMMENT '预警处理方式1:直接处理；2:生成工单',
operate_user_id STRING COMMENT ' COMMENT ',
operate_user_name STRING COMMENT ' COMMENT ',
operate_time STRING COMMENT '预警信息处理时间',
order_id STRING COMMENT ' COMMENT ',
order_status STRING COMMENT '工单状态 0缺省 1待接收 2处理中 3已处理 4已完成 5已关闭 6待处理',
recovery_time STRING COMMENT '恢复时间',
warning_trigger_id STRING COMMENT ' COMMENT ',
warning_type STRING COMMENT '预警事件类型(1离园预警 2车辆违停 3消防通道占用)',
work_order_identity STRING COMMENT '新旧工单标识字段 1：老工单，2：新工单',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE KEY `id_UNIQUE` (`id`) USING BTREE
)COMMENT 'ai预警信息' PARTITIONED BY (As BIGINT) STORED AS PARQUET;

然而。。。。

行吧 对齐看着也比较舒服

于是和姐妹吐槽，我在手动对齐

最后实在受不了了，改了姐妹的代码

对齐大概思路就是设置一个最大值减去字段长度再乘以空格，就可以对齐啦

顺便按照自己的需求又照猫画虎的改了下

import os
import re
import traceback

import pandas as pd

pattern = r"[`']([^`']+)[`']"
tradition_ = 'COMMENT'
common_part = ' STRING COMMENT '
#定义一个空字符
space=' '

def modify_row(row):
    sql_row = row[0]
    if 'CREATE TABLE' in sql_row:
        table = sql_row.split('`')[1]  
        # 顺便把ods规范表名也拼好
        cut_sql = 'CREATE TABLE IF NOT EXISTS ' + 'ods_wspace_'+table.replace(' ','') +'_df ('
        row[0] = cut_sql 
        return row
    # 去掉不符合要求的语句行
    if 'USING BTREE' in sql_row:
        cut_sql =' '
        row[0] = cut_sql 
        return row
    # 因为公司同步都要求string 就方便很多 直接按字符串类型拼
    if 'COMMENT=' in sql_row:
        comment = sql_row.split('COMMENT=')[-1].replace(';', '').replace(' ', '')
        cut_sql = ')'+'\n'+'COMMENT ' + comment +'\n'+ 'PARTITIONED BY ( ds BIGINT )'+'\n'+'STORED AS PARQUET;'
        row[0] = cut_sql
        return row
    cut_result = re.findall(pattern, sql_row)

    # 通过字段长度 对齐语句 
    cut_len=len(cut_result[0])
    # print('cut_len:',cut_len)  
    if len(cut_result) > 1 and tradition_ in sql_row:
        cut_sql = 5*space+','+cut_result[0] +(30-cut_len)*space+common_part +space+ f"'{cut_result[-1]}'" 
        row[0] = cut_sql
    return row


current_dir = os.getcwd()
to_dir = os.path.join(current_dir, "results_dir")
print('current_dir:', current_dir)
print('results_dir:', to_dir)
if not os.path.exists(to_dir):
    os.mkdir(to_dir)
try:
    for file in os.listdir(current_dir):
        if file.endswith(".xlsx") or file.endswith(".xls"):
            file_path = os.path.join(current_dir, file)
            to_file_path = os.path.join(to_dir, file)
            df = pd.read_excel(file_path)
            df.apply(modify_row, axis=1)
            df.to_csv(to_file_path, index=False)
except:
    print(traceback.format_exc())

姐妹说用pandas库 可能有bug 但她迟迟不帮我优化 反正我们一致认同能实现功能的代码就是好代码 哈哈哈哈哈 坐等她再帮我换个库写 反正 这段时间不用手敲建表语句了 开心开心

为啥说用一行代码实现呢，因为

命令行。。。 被骗了 我是标题党

后记

时隔一年没有跟新了 确实平常很躺平  工作中除了sql就是sql 很少学新的内容  就没有产出了 希望之后能多多更新文章吧 这篇就是一个好的开端   

by the way 今天是我入职满一年 下班下班 出去嗨喽

醪糟小丸子
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
mysql建表语句转hive_如何获取hive建表语句
weixin_39673742的博客
02-08 1183
在使用hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如mysql，derby等，这里我们以mysql为元数据库，结合0.4.2版本的hive为例进行研究。连接上mysql后可以看到hive元数据对应的表约有...
mysql建表语句转为hive建表语句，mysql ddl转为hive ddl
weixin_45937224的博客
08-04 446
mysql建表语句转为hive建表语句，mysql ddl转为hive ddl
mysql建表语句转hive sql
weixin_44894162的博客
09-06 1582
mysql建表语句转hive sql案例教学。
mysql2hive建表语句的转换
DevinKim的博客
10-09 1186
准备一张维度表：dim_ddl_convert，建表语句如下： DROP TABLE IF EXISTS `dim_ddl_convert`; CREATE TABLE `dim_ddl_convert` ( `source` varchar(100) NOT NULL, `data_type1` varchar(100) NOT NULL, `target` varchar(100) NOT NULL, `data_type2` varchar(100) DEFAULT NULL, `
Python实现MySQL结构转化为HIVE DDL 语句
qq_35824427的博客
03-29 379
使用 Python 实现 MySQL 和 HIVE 的 DDL 转化
mysql数据抽取，自动生成hive建表语句
03-11
本教程主要围绕“mysql数据抽取，自动生成hive建表语句”这一主题展开，讲解如何高效地实现这一过程。 首先，我们需要理解MySQL与Hive之间的数据模型差异。MySQL通常使用行式存储，支持复杂的事务处理，适合频繁的...
生成hive建表语句
08-24
在生成Hive建表语句时，需要根据实际需求选择合适的字段类型、分区策略、存储格式等，确保数据的有效存储和高效查询。同时，建表语句的设计应考虑数据的扩展性和维护性，以适应业务的变化和发展。在实际工作中，我们...
使用Python构造hive insert语句说明
12-17
总结来说，构建Hive的INSERT语句需要利用编程语言，如Python，对数据进行处理和格式化。在实际工作中，需要根据项目需求和资源选择合适的数据导入策略，平衡效率、安全性和稳定性。同时，了解并掌握各种Python库（如...
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
- **PutHiveQL**: 将数据写入Hive，通过执行Hive SQL语句实现。 - **HiveMetastoreClientService**: 提供与Hive Metastore交互的能力，用于元数据管理。 ### 操作与验证 1. **配置验证**：确保NiFi、MySQL、Hive...
chatgpt将mysql建表语句转成hive建表语句
佰梦的博客
07-07 347
使用java代码，将mysql建表语句转成hive建表语句。后续多次测试发现是正则出了问题，容错率很低，需要给出示例。可以发现转换的代码没有成功转换。
根据MySQL表结构批量自动生成HIVE建表语句
June_de_love的博客
07-15 1456
根据MySQL表结构批量自动生成HIVE建表语句
MySQL数据同步到HIVE,自动生成MySQL表对应HIVE的建表语句
ArYe
04-20 3300
文章目录背景MySQL列数据类型转成HIVE的自动生成MySQL表对应HIVE建表语句完整代码附录 背景 MySQL数据同步到HIVE时，要写HIVE的建表语句 数据类型全写STRING不够好，对此写个自动转换程序 开发语言：Python3 MySQL列数据类型转成HIVE的 from re import fullmatch def column_type_mysql2hive(mysql_column_type): """MySQL列数据类型转成HIVE的""" # tinyint
在Oracle、MySQL中执行sql脚本生成hive建表语句
SunWuKong_Hadoop的博客
11-27 881
业务需求：在没有sqoop的基础上，将oracle归集库的数据迁移至hive作为ods数据源，mysql数据库中的指标表迁移至hive作为dw层。 在MySQL中生成hive建表语句： #!/usr/bin/python # -*- coding: utf-8 -*- table_name = [ 'zzlq' ,'z_zzjgdw_base_info' ,'z_zzjg_base_inf...
通过python快速将mysql语句转换成hive、hbase、sqlserver建表语句脚本
最新发布
wode6sarah的博客
05-09 430
以下mysqlsql模板，保存在mysql_table_sql.sql文件中，注意因为脚本转换会将字段注释一并转换过去，务必保证每个字段都有注释（如果不需要，在py脚本中需要去掉匹配注释的代码），除正常字段以外，只需要保留PRIMARY这一行，如果有索引或者唯一键约束的，需要去除，否则匹配时，会出现索引越界异常。希望转换成hive的sql样式如下,创建一个同名的表并添加ods前缀，创建在ods库中，并设定分区，存储类型为orc，压缩类型是snappy。py脚本如下。
从mysql获取表转化为hive建表语句（python语言）
大鹰的天空
07-13 5264
脚本可以直接从mysql 数据库里获取表信息，直接生成hive建表语句''' Created on 2017年6月29日 @author: 80002419 ''' import pymysql import re def get_table_info(table,schema = '',ispartition = True): ''' table = 为表名，mysq
总结SQL中的各类表格格式化问题
haohaoxuexiyai的博客
03-28 458
以下题目来自 https://leetcode-cn.com/problemset/database/ 这里的题型我认为可以分为以下两种： 1. 表格转换问题 618.学生地理信息报告(困难); 1179.重新格式化部门表(简单); 1435.制作会话柱状图(简单); 1777.每家商店的产品价格(简单); 1795.Rearrange Product Table(简单) 2. 设计序列构建新表格问题 1127.用户购买平台(困难); 1336.每次访问的交易次数(困难); 1384.按年度列出销售总额(
批量备份mysql数据库以及将mysql建表语句改为hive建表语句
ck978105293的博客
07-25 965
#!/bin/bash ############功能说明部分####################################### #脚本功能是按照每天对mysql数据库中所有表进行备份，备份文件为：数据库名-表名.sql #实例：backup/2016-08-25/uic-test.sql #测试数据还原实例：mysql -uroot -pprism%didi%dev%135 -h...
hive建表和mysql一致
09-06
Hive 建表的语法和 MySQL 的建表语法类似，但是有些细节上的差异。 下面是一个 Hive 建表的例子： ``` CREATE TABLE example_table ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醪糟小丸子

小小帮助，不足挂齿

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值