HIVE如何备份建表并批量建表

最新推荐文章于 2022-08-17 11:28:51 发布

lz_N_one

最新推荐文章于 2022-08-17 11:28:51 发布

阅读量672

点赞数

分类专栏：数据仓库文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/lz_n_one/article/details/125930881

版权

本文介绍了如何使用Hive进行数据库备份，包括导出所有数据库和创建新库的步骤，同时提供了批量导入数据的方法。通过一个HQL文件执行建表语句，以及在Linux环境下后台运行Hive命令来导出表的建表语句，实现高效管理Hive表。

摘要由CSDN通过智能技术生成

脚本内容如下

`	#!/bin/bash
 
##获取数据库
databases=$(hive -e "show databases; exit;")
 
for database in $databases;
do
    #获取hive建表语句
    tables=$(hive -e "use $database; show tables;")
    for table in $tables;

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lz_N_one

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive建表语句批量导出导入

L, there!

07-05

6066

带参数，手动指定数据库 #!/bin/bash ##批量获取hive建表HQL脚本 #输入数据库 DB=$1 #获取hive建表语句 tables=$(hive -e "use $DB; show tables;") for table in $tables; do echo "--============ db: $DB , table: $table =======...

hive根据excel批量生成建表语句

02-22

根据excel中表的字段清单，批量生成建表语句；打开工具，按格式填入表名、字段、类型等内容，点击“视图”-->“宏”-->“查看宏”-->“执行”

参与评论您还未登录，请先登录后发表或查看评论

hive备份建表语句并批量建表

JacksonKing的专栏

01-29

890

脚本内容如下： #!/bin/bash ##获取数据库 databases=$(hive -e "show databases; exit;") for database in $databases; do #获取hive建表语句 tables=$(hive -e "use $database; show tables;") for table in $tables; do echo "--=========== db: $database

HIVE备份之批量导出所有的HIVE建表字段

大数据挖掘SparkExpert的博客

10-17

8777

在HIVE实际工程部署当中，经常会用到一些备份，其中有一项就是如何保存所有HIVE表的建表命令语句。当HIVE中表格特别多的情况下，如何批量进行存储呢。针对这个问题，网上没有任何相关的资源。不过从HIVE本身提供的语句是支持这个，只是需要批量处理。最基本的两个语句：show tables; show create tables XXX. 于

hive批量建表

q954103的博客

10-26

1570

https://blog.csdn.net/weixin_42496757/article/details/88744077

HIVE备份--批量导出HIVE建表语句

T___Z的博客

11-09

4705

在HIVE实际工程部署当中，经常会用到一些备份，其中有一项就是如何保存所有HIVE表的建表命令语句。 HIVE本身提供的语句是支持这个，只是需要批量处理。最基本的两个语句：show tables; show create tables XXX. 建立一个SH文件，来实现批量化处理。如下： #!/bin/bash hive -e "s

hive备份表

小鲤鱼丶汤真好喝

03-16

2260

create table tb_user_bak like tb_user; 或 insert into table tb_user_bak select * from tb_useri;

批量生成hive建表语句

清平乐的技术专栏

07-30

1546

这里以shell为例 echo "==========导出test库所有的表结构==========" hive -e "use test;show tables;" > /data/tables.txt echo "==========逐行遍历表信息=========" cat tables.txt |while read eachline do echo "==========批量生成建表语句=========" hive -e "use test;show create table $eac

Hive的三种建表方式

奔赴彼岸

01-13

786

Hive的三种建表方式1.直接建表法：2.抽取(as) 建表：3.like建表 1.直接建表法： create table movies (uid string,iid string,score string , ts string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 场景：直接进行字段类型，字段备注，数据存储格式自定义 2.抽取(as) 建表： create table article

mysql数据抽取，自动生成hive建表语句

03-11

本教程主要围绕“mysql数据抽取，自动生成hive建表语句”这一主题展开，讲解如何高效地实现这一过程。首先，我们需要理解MySQL与Hive之间的数据模型差异。MySQL通常使用行式存储，支持复杂的事务处理，适合频繁的...

hive根据excel批量生成sql

10-20

根据excel中表的字段清单，批量生成建表语句；打开工具，按格式填入表名、字段、类型等内容，点击“视图”-->“宏”-->“查看宏”-->“执行”

hive元数据生成建表语句

01-26

可以从hive元数据生成建表语句的资源。包括表结构、分区等信息

跨集群hive批量建表

宝罗Paul 的博客

08-31

1530

【需求】在集群A建表，要同步在集群B建表、修复历史分区。表用到的数据源在云上。【注意】hive -f时涉及的HDFS操作权限问题 A集群有9个表要同步到B集群 [hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster # 9个表是： [hive@bigdata-master-1 ~]$ cat tables_To...

SQL之mysql到hive批量生成建表语句

chimchim66的博客

08-17

1014

SQL之mysql到hive批量生成建表语句

备份Hive中的建表语句

ChengYanan的博客

09-27

583

需要做数据备份，将hive中的表结构全部导出来： $ cat create_table_statement.sh #/bin/bash db=ods tbls=`hive -e "use $db;show tables"` for tbl in $tbls;do statement=`hive -e "use $db;show create table $tbl"` echo $statement >> $db"_statement.sql" done ...

hadoop之hive建表语句备份

weixin_30881367的博客

07-23

176

转自：https://blog.csdn.net/t___z/article/details/78492113 #!/bin/bash hive -e "use lbi;show tables;" > hivetables.txt sleep(2) cat hivetables.txt |while read eachline do hive -e "...

Hive中备份分区表

mizuhokaga的博客

05-18

2774

0 接手前辈的一个项目有新需求，虽然ods层表是全量采集的不过为了稳妥起见备份原始ods层的表 1.备份分区表旧表名是kpi，先like完全复制原表结果生成bak后缀的备份表 create table if not exists kpi_bak like kpi 我倾向于用like 而不是as select。like虽然只能复制表结构不能带数据，但是可以完全复制表结构（包括分区），备份数据后所占空间和原表差不多。 as select 备份表可以复制表结构和数据，语法简单。缺点是备份表的分区字段会变

HIVE建表

houliling的博客

07-10

873

HIVE建表语句：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment]...

hive创建不同的表（内部，外部，分区，分桶）

lucklydog123的博客

11-21

511

Hive本身并不存储数据，而是将数据存储在Hadoop的HDFS中，表名对应HDFS中的目录/文件。根据数据的不同存储方式，将Hive表分为外部表、内部表、分区表和分桶表四种数据模型。每种数据模型各有优缺点。通过create user命令创建user表时，会在HDFS中生成一个user目录/文件。外部表数据不由Hive管理，使用drop命令删除一个表时，只是把表的元数据给删除了，而表的数据不会删除。创建外部表的SQL语句： create external table bigdata17_user( u

hivesql建表报错