HIVE如何备份建表并批量建表

最新推荐文章于 2022-08-17 11:28:51 发布

lz_N_one

最新推荐文章于 2022-08-17 11:28:51 发布

阅读量647

点赞数

分类专栏：数据仓库文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/lz_N_one/article/details/125930881

版权

本文介绍了如何使用Hive进行数据库备份，包括导出所有数据库和创建新库的步骤，同时提供了批量导入数据的方法。通过一个HQL文件执行建表语句，以及在Linux环境下后台运行Hive命令来导出表的建表语句，实现高效管理Hive表。

摘要由CSDN通过智能技术生成

脚本内容如下

`	#!/bin/bash
 
##获取数据库
databases=$(hive -e "show databases; exit;")
 
for database in $databases;
do
    #获取hive建表语句
    tables=$(hive -e "use $database; show tables;")
    for table in $tables;

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lz_N_one

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive建表语句批量导出导入

L, there!

07-05

6030

带参数，手动指定数据库 #!/bin/bash ##批量获取hive建表HQL脚本 #输入数据库 DB=$1 #获取hive建表语句 tables=$(hive -e "use $DB; show tables;") for table in $tables; do echo "--============ db: $DB , table: $table =======...

hive根据excel批量生成建表语句

02-22

根据excel中表的字段清单，批量生成建表语句；打开工具，按格式填入表名、字段、类型等内容，点击“视图”-->“宏”-->“查看宏”-->“执行”

参与评论您还未登录，请先登录后发表或查看评论

hive备份建表语句并批量建表

JacksonKing的专栏

01-29

874

脚本内容如下： #!/bin/bash ##获取数据库 databases=$(hive -e "show databases; exit;") for database in $databases; do #获取hive建表语句 tables=$(hive -e "use $database; show tables;") for table in $tables; do echo "--=========== db: $database

hive批量建表

q954103的博客

10-26

1556

https://blog.csdn.net/weixin_42496757/article/details/88744077

HIVE备份--批量导出HIVE建表语句

T___Z的博客

11-09

4688

在HIVE实际工程部署当中，经常会用到一些备份，其中有一项就是如何保存所有HIVE表的建表命令语句。 HIVE本身提供的语句是支持这个，只是需要批量处理。最基本的两个语句：show tables; show create tables XXX. 建立一个SH文件，来实现批量化处理。如下： #!/bin/bash hive -e "s

hive备份表

小鲤鱼丶汤真好喝

03-16

2241

create table tb_user_bak like tb_user; 或 insert into table tb_user_bak select * from tb_useri;

mysql数据抽取，自动生成hive建表语句

03-11

本教程主要围绕“mysql数据抽取，自动生成hive建表语句”这一主题展开，讲解如何高效地实现这一过程。首先，我们需要理解MySQL与Hive之间的数据模型差异。MySQL通常使用行式存储，支持复杂的事务处理，适合频繁的...

跨集群hive批量建表

宝罗Paul 的博客

08-31

1516

【需求】在集群A建表，要同步在集群B建表、修复历史分区。表用到的数据源在云上。【注意】hive -f时涉及的HDFS操作权限问题 A集群有9个表要同步到B集群 [hive@bigdata-master-1 ~]$ vim tables_ToBeCreated_onOtherCluster # 9个表是： [hive@bigdata-master-1 ~]$ cat tables_To...

批量生成hive建表语句

清平乐的技术专栏

07-30

1523

这里以shell为例 echo "==========导出test库所有的表结构==========" hive -e "use test;show tables;" > /data/tables.txt echo "==========逐行遍历表信息=========" cat tables.txt |while read eachline do echo "==========批量生成建表语句=========" hive -e "use test;show create table $eac

hive根据excel批量生成sql

10-20

根据excel中表的字段清单，批量生成建表语句；打开工具，按格式填入表名、字段、类型等内容，点击“视图”-->“宏”-->“查看宏”-->“执行”

hive元数据生成建表语句

01-26

可以从hive元数据生成建表语句的资源。包括表结构、分区等信息

Hive的三种建表方式

奔赴彼岸

01-13

774

Hive的三种建表方式1.直接建表法：2.抽取(as) 建表：3.like建表 1.直接建表法： create table movies (uid string,iid string,score string , ts string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 场景：直接进行字段类型，字段备注，数据存储格式自定义 2.抽取(as) 建表： create table article

SQL之mysql到hive批量生成建表语句

chimchim66的博客

08-17

1007

SQL之mysql到hive批量生成建表语句

备份Hive中的建表语句

ChengYanan的博客

09-27

573

需要做数据备份，将hive中的表结构全部导出来： $ cat create_table_statement.sh #/bin/bash db=ods tbls=`hive -e "use $db;show tables"` for tbl in $tbls;do statement=`hive -e "use $db;show create table $tbl"` echo $statement >> $db"_statement.sql" done ...

hadoop之hive建表语句备份

weixin_30881367的博客

07-23

167

转自：https://blog.csdn.net/t___z/article/details/78492113 #!/bin/bash hive -e "use lbi;show tables;" > hivetables.txt sleep(2) cat hivetables.txt |while read eachline do hive -e "...

Hive中备份分区表

mizuhokaga的博客

05-18

2747

0 接手前辈的一个项目有新需求，虽然ods层表是全量采集的不过为了稳妥起见备份原始ods层的表 1.备份分区表旧表名是kpi，先like完全复制原表结果生成bak后缀的备份表 create table if not exists kpi_bak like kpi 我倾向于用like 而不是as select。like虽然只能复制表结构不能带数据，但是可以完全复制表结构（包括分区），备份数据后所占空间和原表差不多。 as select 备份表可以复制表结构和数据，语法简单。缺点是备份表的分区字段会变

HIVE建表

houliling的博客

07-10

855

HIVE建表语句：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment]...

hive创建不同的表（内部，外部，分区，分桶）

lucklydog123的博客

11-21

499

Hive本身并不存储数据，而是将数据存储在Hadoop的HDFS中，表名对应HDFS中的目录/文件。根据数据的不同存储方式，将Hive表分为外部表、内部表、分区表和分桶表四种数据模型。每种数据模型各有优缺点。通过create user命令创建user表时，会在HDFS中生成一个user目录/文件。外部表数据不由Hive管理，使用drop命令删除一个表时，只是把表的元数据给删除了，而表的数据不会删除。创建外部表的SQL语句： create external table bigdata17_user( u

hivesql建表报错

最新发布

09-06

当执行HiveSQL建表命令报错时，可能有几个原因导致： 1. 列名重复：根据引用中的内容，建表语句中指定了两个相同的列名，这可能会导致建表失败。请确保列名的唯一性并重试建表命令。 2. 元数据服务器配置错误：根据引用中的内容，当Hive执行建表命令时，可能会连接到远程的元数据服务器，而不是默认的本地数据库。如果你的MySQL数据库不在本地，你需要在Hive的配置文件中配置元数据服务器的地址。确保配置正确后，重启Hive服务并再次尝试执行建表命令。 3. Orc文件版本不兼容：根据引用中的内容，当使用CDH-Hive2.1.1版本读取Orc文件时，可能会报错。可能是由于Orc文件的版本与Hive不兼容导致的。你可以尝试替换Orc文件或升级Hive版本来解决这个问题。综上所述，建议你检查列名是否重复，配置正确的元数据服务器地址，并考虑升级Hive版本或替换Orc文件来解决建表报错的问题。123 #### 引用[.reference_title] - *1* [记一次hive建表报错](https://blog.csdn.net/weixin_39445556/article/details/103200509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [hive执行建表命令报错](https://blog.csdn.net/weixin_45567175/article/details/102716671)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [cdh-hive2.1.1版本orc格式表读取包数组越界替换包](https://download.csdn.net/download/weinierzui/85404988)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]