hive创建与mysql表结构一致的表

最新推荐文章于 2023-05-19 11:31:36 发布
最新推荐文章于 2023-05-19 11:31:36 发布
阅读量987 收藏
点赞数
分类专栏： 数据仓库 文章标签： hive mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnlaGodness/article/details/122492957
版权

代码出自导师之手，特此记录，方便下次使用。

SET SESSION group_concat_max_len = 10240;

select
    concat_ws
    ('\n'
     ,concat('create table ods.ods_{库名}_','{表名}','_dt')
     ,'('
     ,group_concat(
        concat_ws
        (' '
        ,case when t.ORDINAL_POSITION = 1 then ' ' else ',' end
        ,t.column_name
        ,t.hive_data_type
        ,'COMMENT'
        ,concat('''',t.COL
最低0.47元/天 解锁文章
Anla Likes Sunshine
关注
专栏目录
Hive中创建表（hive的使用和MySQL的使用很相似）
jiaotongqu6470的博客
10-22 3421
CREATE TABLE语句(不区分大小写)Create Table是用于在Hive中创建表的语句，语法和示例如下：语法：CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name[(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_co
sqoop建表_sqoop 创建跟mysql相同表结构的hive表报错
weixin_39965673的博客
12-20 275
执行sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table A --hive-table mysqlToA错误1报错如下：20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load o...
在Hive中创建与mysql下相同的表
路漫漫其修远兮 吾将上下而求索
06-04 1826
2、在Hive中创建employee表，与sqoop用户下的相同的表 2.1在Linux的终端输入以下代码 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqoop --table employee --username sqoop --password sqoop --hive-table emplo
hive表结构同步到MySQL_Hive数据表同步到Mysql的实现
weixin_34296646的博客
01-19 1490
EasyDataInsight项目Hive数据表同步到Mysql的实现一、前提a)Mysql表名若为M_A，则对应hive表名应为EDI_A，Mysql 临时表名为T_A；b)M_A字段类型和个数与SELECT * FROM EDI_A一致(包含分区字段)，而T_A字段个数与类型是EDI_A中除分区字段以外的字段。c)执行同步脚本的主机能访问mysql DB server.二、步骤如下：检查哪些需...
hive数据库与表的创建
he_321的博客
12-14 4578
数据库的创建与销毁//创建数据库并指定数据存储的位置，如果路径之前不存在，会在创建数据库的时候自动创建目录。 //默认的位置在hive-site.xml中进行配置 create database if not exists bhive location '/user/hive/warehouse/bhive.db';创建数据库的同时，对应到hdfs文件系统中，将会是在指定的的目录下创建一个和数据库名
hive创建mysql表_hive的数据定义之创建数据库和表
weixin_29356575的博客
01-20 603
create database hive_db　　//创建数据库hive_dbcreate table hive_db.test(字段内容及其格式省略)　　//在数据库hive_db中创建test表create database student_db location '/user/hive/student.db'　　//创建数据库student_db，但是在hdfs中显示student.db，在...
shell脚本根据MySQL表结构创建hive表结构。
这家伙什么也没留下!
05-27 545
#!/bin/bash DB_HOST='192.168.0.00' DB_PORT='3306' DB_NAME=default TBL_NAME=table USERNAME='root' PASSWORD='123456' PARAMS='?characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai' HIVE_DB='default' HIVE_TIR='ods' HIVE_TBL=$HIVE_TIR'_'$T
mysql数据抽取，自动生成hive建表语句
03-11
4. **处理分区**：如果需要在Hive中创建分区表，可以分析MySQL表中的时间戳或分类字段，将其设置为Hive的分区字段。 5. **生成Hive建表语句**：基于上述信息，构造Hive的CREATE TABLE语句，包括表名、字段定义、...
hive元数据信息对应的MySQL数据库表
chengbai121444的博客
03-12 3299
目录 概述 一、存储hive版本的原数据表（VERSION） 二、元数据表（DBS、DATABASE_PARAMS） 三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） 四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS） 五、表字段相关的元数据表（COLUMNS_V2）...
基于Mysql表结构生成Hive表结构
时间(实践)是检验真理的唯一标准
03-18 1774
背景 业务系统库数据迁移到Hadoop平台做分析要涉及到所有迁入的表结构要类型和表结构语句的更改，部分表字段可能两三百个字段，对程序员来说捉行手动修改简直始终煎熬。。。 表结构 mysql `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `city_id` int(11) NOT NULL DEFAULT '0' COMMENT '大区ID'...
hive创建mysql表,hive&Mysql创建、修改、删除字段/表
weixin_39844549的博客
03-13 382
本文围绕以下框架，对Hive及Mysql中，常用的字段/表处理语句进行整理汇总。1. 创建表(1)Hive(2)Mysql2. 字段重命名(1)Hive--改变列名/类型/位置/注释ALTERTABLE table_name CHANGE[CLOUMN] col_old_name col_new_namecolumn_type[CONMMENT col_conmment][FIRST|AFTER...
MySQL和hive建表区别,Hive中創建表（hive的使用和MySQL的使用很相似）
weixin_31897613的博客
03-23 308
CREATE TABLE語句(不區分大小寫)Create Table是用於在Hive中創建表的語句，語法和示例如下：語法：CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_co...
hive数据库存入mysql_hive 数据库操作
weixin_34060561的博客
01-27 529
前提用户已经成功配置了hadoop 的 hdfs 和 yarn 环境。成功安装了hive。通过hive shell 访问hive直接通过hive 命令进入shell显示如上内容就表示已经成功进入hive shell 了。hive 创建数据库$hive>create database mydb2 ;$hive>use mydb2 ;查看刚创建的数据库可以看到已经有了 mydb2 这个库了...
mysql 建表语句 stored as_hive的指令操作及内外临时表的创建
weixin_35335035的博客
02-18 1449
2、数据库： OLTP//online transaction process ,在线事务处理3、drop databases if exists mybase//删除数据库4、show tables//显示表5、create database mybase//mysql 创建库6、create table test(id int ,name varchar(20));//创建列表7、se...
自动生成根据mysql表创建hive表脚本
weixin2006的博客
04-19 2631
#!/bin/bash source /etc/profile #该脚本为手动传参根据MySQL表信息创建hive表 #输入参数判断逻辑 必须数据两个参数，一个是MySQL库名，第二个是表名 #if [ $# -eq 2 ];then # db_name=$1 ##mysql 库名 # tbl_name=$2 ##MySQL 表名 #else # echo "参数个数错误" # exit 8 #fi db_name=$1 tbl_name=$2 DB_HOST='ip' DB_PO
用shell根据mysql中的表创建hive表
qq_40988607的博客
05-09 503
#!/bin/sh tmpdir="/root/a.txt" tmpfile2="/root/a2.txt" #读取msql表 mysql -u root -p123456 < /root/b.sql > ${tmpdir} sed -i '1d' ${tmpdir} cat ${tmpdir} | cut -f 1,2 > ${tmpfile2} nameAndTypebuffer="" while read line do #echo "${line}" #获取前两列 name=.
使用Python脚本从Hive中取数据计算后加载到Mysql示例
BabyFish13
12-21 4959
由于没有在服务器上安装Python库的权限，所以此文中采用了Os操作Hive及Mysql库的方式进行数据的读取和写入。 重点关注和学习： Python接收和传送通过Os操作数据库的方式； 外部参数传送到Python并使用； Python进行数据分组汇总； 利用Python的set对象进行数据的去重及交、并、差的操作； Python的set、list、str之间的相互转换； Pytho
使用sqoop从Hive导出数据到MySQL
qq_58476985的博客
05-19 4648
2、启动mysql：support-files/mysql.server start。8、数据可视化（前端）需求：Tom选修了哪些课程，对应的每门课程有多少学分。（课程信息：课程号kch，学号xh，课程名称kcmc，学分xf）kcxx。其次：使用sqoop从hdfs上将分析好的数据导出到mysql中。5、分别编辑xsxxdata和kcxxdata里面数据。1、启动hadoop：start-all.sh。3、启动hive：hive。4、在hive中创建表。
查询mysql表结构自动创建hive表
最新发布
12-09
查询MySQL表结构自动创建Hive表可以通过以下步骤进行： 1. 连接MySQL数据库：通过在命令行或者代码中使用合适的MySQL连接方法，连接到MySQL数据库。 2. 查询表结构：使用SHOW COLUMNS语句来查询MySQL表的结构信息，包括字段名、数据类型、长度、约束等。可以将查询结果保存在一个列表或者数据结构中。 3. 创建Hive表：根据查询到的MySQL表结构信息，使用CREATE TABLE语句来创建相应的Hive表。根据数据类型的映射关系，将MySQL的数据类型转换为Hive的数据类型。 4. 添加分区：如果MySQL表中有分区字段，需要在Hive表中也进行分区设置。根据分区字段的类型，使用ALTER TABLE语句来添加分区。 5. 导入数据：使用INSERT INTO语句将MySQL表中的数据导入到Hive表中。可以使用INSERT INTO SELECT语句将数据从MySQL表复制到Hive表。 需要注意的是，MySQL和Hive之间存在一些数据类型的差异，例如，MySQL中的DATETIME类型应该被映射为Hive的TIMESTAMP类型。在数据导入过程中也可能会遇到一些类型或数据格式的转换问题，需要进行相应的处理。 以上是通过查询MySQL表结构自动创建Hive表的一般步骤，具体的实现方式可以根据具体情况进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值