mysql建表语句转hive_如何获取hive建表语句

最新推荐文章于 2024-04-26 18:45:41 发布
最新推荐文章于 2024-04-26 18:45:41 发布
阅读量1.1k 收藏
点赞数
文章标签： mysql建表语句转hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39673742/article/details/113950642
版权

在使用hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。

要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如mysql，derby等，这里我们以mysql为元数据库，结合0.4.2版本的hive为例进行研究。

连接上mysql后可以看到hive元数据对应的表约有20个，其中和表结构信息有关的有9张，其余的10多张或为空，或只有简单的几条记录，以下是部分主要表的简要说明。

表名

说明

关联键

TBLS

所有hive表的基本信息

TBL_ID,SD_ID

TABLE_PARAM

表级属性，如是否外部表，表注释等

TBL_ID

COLUMNS

Hive表字段信息(字段注释，字段名，字段类型，字段序号)

SD_ID

SDS

所有hive表、表分区所对应的hdfs数据目录和数据格式

SD_ID,SERDE_ID

SERDE_PARAM

序列化反序列化信息，如行分隔符、列分隔符、NULL的表示字符等

SERDE_ID

PARTITIONS

Hive表分区信息

PART_ID,SD_ID,TBL_ID

PARTITION_KEYS

Hive分区表分区键

TBL_ID

PARTITION_KEY_VALS

Hive表分区名(键值)<

最低0.47元/天 解锁文章
weixin_39673742
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Mysql表结构生成Hive表结构
时间(实践)是检验真理的唯一标准
03-18 1758
背景 业务系统库数据迁移到Hadoop平台做分析要涉及到所有迁入的表结构要类型和表结构语句的更改，部分表字段可能两三百个字段，对程序员来说捉行手动修改简直始终煎熬。。。 表结构 mysql `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `city_id` int(11) NOT NULL DEFAULT '0' COMMENT '大区ID'...
mysql建表语句转为hive建表语句，mysql ddl转为hive ddl
weixin_45937224的博客
08-04 438
mysql建表语句转为hive建表语句，mysql ddl转为hive ddl
一行代码实现mysql建表语句格式化成hive建表语句
最新发布
laozaoxiaowanzi的博客
04-26 257
姐妹说用pandas库 可能有bug 但她迟迟不帮我优化 反正我们一致认同能实现功能的代码就是好代码 哈哈哈哈哈 坐等她再帮我换个库写 反正 这段时间不用手敲建表语句了 开心开心。因为我们公司的数据平台在抽数据的时候无法自动生成ODS层hive格式的建表语句，而业务库的一些表字段又非常多，手动+excel修改耗时耗力，于是想通过一个Python脚本自动将。时隔一年没有跟新了 确实平常很躺平 工作中除了sql就是sql 很少学新的内容 就没有产出了 希望之后能多多更新文章吧 这篇就是一个好的开端。
在Oracle、MySQL中执行sql脚本生成hive建表语句
SunWuKong_Hadoop的博客
11-27 868
业务需求：在没有sqoop的基础上，将oracle归集库的数据迁移至hive作为ods数据源，mysql数据库中的指标表迁移至hive作为dw层。 在MySQL中生成hive建表语句： #!/usr/bin/python # -*- coding: utf-8 -*- table_name = [ 'zzlq' ,'z_zzjgdw_base_info' ,'z_zzjg_base_inf...
MySQL数据同步到HIVE,自动生成MySQL表对应HIVE的建表语句
ArYe
04-20 3298
文章目录背景MySQL列数据类型转成HIVE的自动生成MySQL表对应HIVE建表语句完整代码附录 背景 MySQL数据同步到HIVE时，要写HIVE的建表语句 数据类型全写STRING不够好，对此写个自动转换程序 开发语言：Python3 MySQL列数据类型转成HIVE的 from re import fullmatch def column_type_mysql2hive(mysql_column_type): """MySQL列数据类型转成HIVE的""" # tinyint
SQL之mysql到hive批量生成建表语句
chimchim66的博客
08-17 974
SQL之mysql到hive批量生成建表语句
mysql数据抽取，自动生成hive建表语句
03-11
6. **执行Hive语句**：连接Hive服务，执行生成的建表语句，创建Hive表。 7. **数据导入**：使用ETL工具（如Apache Sqoop）或编写脚本，将MySQL数据导入到Hive中。这一步可能涉及数据格式转换、数据清洗等操作。 8....
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
生成hive建表语句
08-24
"生成Hive建表语句"这个主题主要涉及到如何创建Hive表结构，以便存储和管理大数据。下面我们将深入探讨Hive建表的相关知识点。 首先，我们需要了解Hive的基本概念。Hive是由Facebook开源的一个数据仓库工具，它可以...
sql同步自动生成hive建表语句及注释
08-08
基于oracle或者mysql生成自动建表同步源数据表结构及注释
chatgpt将mysql建表语句转成hive建表语句
佰梦的博客
07-07 343
使用java代码，将mysql建表语句转成hive建表语句。后续多次测试发现是正则出了问题，容错率很低，需要给出示例。可以发现转换的代码没有成功转换。
MySQL中的业务数据该如何正确导入到Hive中 - Sqoop
阿年的博客
06-02 2217
业务系统中的数据如何导入到HDFS系统中，并加载到Hive数仓中
SQL实现MYSQL到HIVE建表语句的转换（异构数据源DDL转换）
colby_chenlun的博客
08-29 6246
准备一张维度表：dim_ddl_convert，建表语句如下： CREATE TABLE dim_ddl_convert ( source VARCHAR(100) NOT NULL, data_type1 VARCHAR(100) NOT NULL, target VARCHAR(100) NOT NULL, d...
数据转移-从MySQL到Hive
肥猫
07-13 8144
昨天小组组长给了一个新手任务： 我的本地电脑描述为PC-A，远程电脑PC-B上有个MySQL数据库，hadoop集群部署在测试服务器PC-C上。现在，需要把PC-B上的一些table导入到PC-C的Hive数据仓库中。怎么办？ 解决思路是这样： 利用Navicat软件连接到远程电脑PC-B的MySQL上，会发现MySQL中有很多个DataBases，每个db又有很多个Tables。选择...
批量备份mysql数据库以及将mysql建表语句改为hive建表语句
ck978105293的博客
07-25 965
#!/bin/bash ############功能说明部分####################################### #脚本功能是按照每天对mysql数据库中所有表进行备份，备份文件为：数据库名-表名.sql #实例：backup/2016-08-25/uic-test.sql #测试数据还原实例：mysql -uroot -pprism%didi%dev%135 -h...
mysql到hive调度工具_从MySQL到Hive，数据迁移就这么简单
weixin_39750598的博客
12-22 500
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
【hive】mysql到hive数据类型转换
可乐大牛的博客
02-14 5584
1.类型映射关系 mysql和hive中的数据类型存在差异，在mysql集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和mysql结构一致的表。 mysql到hive数据类型映射参考如下： mysql数据类型hive数据类型整型bigintBIGINT整型intBIGINT整型smallintBIGINT整型tinyintBIGINT浮点型decimaldecimal浮点型doubleDOUBLE浮点型floatDOUBLE二进制binaryBINARY
MySQL表字段转换成Hive字段
yh_zeng2的博客
10-25 3311
select concat('`',column_name,'`') colname, case when NUMERIC_PRECISION is not null and (data_type='decimal' or data_type='numeric') then concat('decimal(' , NUMERIC_PRECISION
利用Spark core的算子实现mysql建表语句转hive建表语句
07-22
你可以使用Spark Core的算子来实现将MySQL建表语句转换为Hive建表语句。下面是一个示例代码，你可以根据自己的需要进行修改和扩展： ```scala import org.apache.spark.sql.SparkSession object MySQLToHiveConverter { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("MySQLToHiveConverter") .master("local") .enableHiveSupport() .getOrCreate() // MySQL建表语句 val mysqlCreateTableStatement = """ |CREATE TABLE employees ( | id INT, | name STRING, | age INT, | salary FLOAT |) |""".stripMargin // 解析MySQL建表语句 val parsedColumns = mysqlCreateTableStatement .split("\n") .map(_.trim) .filter(_.nonEmpty) .filter(!_.startsWith("CREATE TABLE")) .filter(!_.startsWith(")")) .map(_.split(" ")(0)) // 构建Hive建表语句 val hiveCreateTableStatement = s""" |CREATE EXTERNAL TABLE employees_hive ( | ${parsedColumns.mkString(",\n ")} |) |ROW FORMAT DELIMITED |FIELDS TERMINATED BY ',' |STORED AS TEXTFILE |LOCATION '/path/to/hive/employees' |""".stripMargin println(hiveCreateTableStatement) spark.stop() } } ``` 在这个示例中，我们假设你已经创建了一个名为`employees`的MySQL表，并提供了对应的建表语句。我们使用SparkSession来创建Spark应用程序，并启用Hive支持。然后，我们解析MySQL建表语句，提取出表的列名。最后，我们使用这些列名构建了Hive建表语句。 请注意，这只是一个简单的示例，你可能需要根据你的具体情况进行修改和扩展。另外，你需要确保你的Spark应用程序能够访问到MySQL和Hive的相关配置信息和依赖项。 希望以上代码对你有所帮助！如有任何疑问，请随时向我提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值