Hive 两个分区表之间的数据复制

MIDSUMMER_yy

已于 2023-02-01 15:36:39 修改

阅读量686

点赞数 1

分类专栏：大数据文章标签： hive Powered by 金山文档

于 2023-02-01 15:35:14 首次发布

本文链接：https://blog.csdn.net/qq_38151907/article/details/128835037

版权

大数据专栏收录该内容

27 篇文章 2 订阅

订阅专栏

在Hive客户端中，为启用和调整动态分区设置，执行了如下命令：开启动态分区，设置非严格模式，以及限制最大动态分区数。接着，使用INSERTOVERWRITE语句将数据从B表插入到A表的动态分区中，以此来管理表的分区并防止因分区过多导致的错误。

摘要由CSDN通过智能技术生成

进入hive客户端之后执行执行以下命令

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=50000;    
set hive.exec.max.dynamic.partitions.pernode=10000;

前两个是设置动态分区的，后两个是防止表分区过多报错

然后执行执行sql

insert overwrite table A表 PARTITION(分区字段) select * from B表 ;

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MIDSUMMER_yy

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【大数据Hive】hive 加载数据常用方案使用详解

congge_study的博客

09-05

6616

hive 加载数据常用方案使用详解

【博学谷学习记录】超强总结，用心分享 | Hive分区表和分桶表

Onzswhite的博客

10-20

867

Hive分区表和分桶表

参与评论您还未登录，请先登录后发表或查看评论

hive根据分区动态插入数据动态分区 hive表数据迁移

zhen_hero的博客

11-11

2110

今天需要将一个分区表的数据（A）迁移到另一张表(B)，两个表的字段不完全一样，但是分区一样,要求迁入到B表后，原来的数据还在原来的分区里，和原来一一对应，表结构如下： A:B: A表的分区：由于分区比较多，一个分区一个分区迁肯定不现实，所以需要用到动态分区下面是迁移sql: set hive.exec.dynamic.partition=true; --开启动态分区 set hive.exec.dynamic.partition.mode=nonstrict;--允许...

hive实现将一张分区表拷贝到另一张分区表

qq_43193797的博客

08-21

4379

beeline -e " set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; insert overwrite table ${Tar} partition(data_date,channel) select * from ${Tmp};...

Hive中怎么快速复制分区表

小白白的博客

07-22

2378

（作者：陈玓玏 data-master）我们在hive中操作底层表时，经常会在临时库中做一些测试，然后再把一些测试过程中产生的需要长期保留的结果固化到线上库中。或者是在进行数据库的大清理时，产生大量数据迁移的需求，这时候我们需要知道怎么样迁移hive表。举个栗子，比如我现在要将表A迁移为表B，以下步骤：建立一个结构相同的表； create table tmp.B like tmp.A; 这样我们就建立了一个和表A结构完全一模一样的表B，但是里头是没人任务数据的，因为create like只复制

Hive将有分区的数据表转移到另一个数据库中

DoNotTouchMyCode的博客

02-11

4564

最近遇到了一个问题，就是因为资源原因，需要把存储时间较长的数据转移到另外一个数据库中，操作其实很简单。假设我们要将A库里面的employee_table转移到B库里面的同框架employee_record表中，首先，在B库里面建立一个和A.employee_table一样的表，然后用一下语句： hive -e "alter table B.employee_record add partition (dt='${date}') location “此处为A.employee_table在dt=

hive单个分区的数据复制到多个分区

最新发布

shen13414959064的博客

10-27

180

将单个分区的数据，批量复制到其他的时间分区里面去。

Day57 Hive 分区表、数据加载和导出，简单数据查询以及函数

m0_64350718的博客

04-13

2552

分区表的创建，数据的加载，导出，数据类型及简单数据查询各种基本函数及其使用

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

weixin_39710660的博客

12-19

1615

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。Hive的数据分为两部分，一部分是存在HDFS上的具体数据，一部分是描述这些具体数据的元数据信息，一般Hive的元数据存在MySQL上。Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个...

hive 到表之间加复制数据和 hdfs上表导入本地数据和本地数据导入到 hdfs上表中，和函数的使用

大JAVA解决方案

03-23

792

hive> create table rat_json(line string) row format delimited;OKTime taken: 0.494 secondshive> load data local inpath '/root/rating.json' into table rat_json;FAILED: SemanticException Line 1:23 ...

hive分区表快速复制

BabyFish13

01-19

1287

1、快速建表 drop table if exists dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian; create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian like dwt.dwt_activity_auction_house_activity_sale_full_1d; 2、查看复制好的表结构 hi

hive中复制（备份）一张表的两种方式

m0_38109926的博客

03-23

7780

hive中复制（备份）一张表的两种方式第一种种方式虽然可以复制表字段、表数据，但是表属性会发生改变 create table if not exists a_tableNMm as select * from b_tabNm 第二种建表语句会完全相同，再加载数据。 create table if not exists a like b insert into a select * from b ...

Hive中如何快速的复制一张分区表（包括数据）

什么最重要？算法！！

05-01

6932

转载网址：http://lxw1234.com/archives/2015/09/484.htm

记一次HIVE分区数据迁移

01-07

1651

需求有两个大数据平台，两套HIVE，分区表。现在需要将A平台的数据迁移至B(新)平台。旧平台查看表位置 show create_table db.table_name; 我们可以进入hdfs中查询一下分区数据 hadoop fs -ls /user/hive/OPD/TO_AMAR_...

hive中快速对表结构数据进行复制

liu812769634的博客

05-13

6496

1. CREATE TABLE new_table LIKE old_table; 2. 使用hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下； 3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据；

Hive静态分区数据拷贝

欲望以提升热忱毅力以磨平高山

09-24

421

Hive版本：2.1.1 set hive.support.quoted.identifiers=none; insert overwrite table ods.ods_call_logs_xx partition(pt='2019-09-22') select `(pt)?+.+` from test_ods.ods_call_logs_xx where pt = '2019-09-22...

Hive将二级分区表中指定分区的数据导入新表时遇到的问题及解决方案

weixin_43190860的博客

06-04

2068

问题描述：hive原始表old，二级分区分别是month，day，现在要求将指定分区下的所有数据导入一张新表new，new复制old表结构 create table new like old; 导入数据SQL语句 insert overwrite table new partition(month=‘10’,day=‘01’) select * from old where month='10'...

Hive分区表迁移

weixin_64431102的博客

05-04

217

hive分区表迁移

Hive 不同存储格式表数据同步问题

Fantasywcs的专栏

08-04

2664

本人在同步两个集群的hive数据时遇到了一个坑爹的问题，A集群X表为RCFILE格式，B集群Y表为ORCFILE格式，现需要将X表的历史数据同步到Y表中。当初天真的以为直接导出导入就能解决问题了，完全忽略了存储格式不同的问题，结果同步完后,查询时直接一个错误砸我脸上。部分错误如下： Caused by:java.lang.reflect.InvocationTargetException

hive分区表分桶表

07-28

Hive中的分区表和分桶表是用来提高查询性能和管理数据的两种技术。 分区表是将数据按照某个列的值进行分区存储的表。通过将数据分散存储在不同的分区中，可以减少查询时需要扫描的数据量，提高查询效率。创建分区表的语法是使用ALTER TABLE语句，并指定分区的列和值。删除分区可以使用ALTER TABLE语句的DROP PARTITION子句。可以使用DESC FORMATTED命令查看分区表的结构，使用SELECT语句查询分区表的数据。\[1\] 分桶表是将数据按照哈希函数的结果进行分桶存储的表。分桶表可以提高数据的读取和查询效率，特别是在进行连接操作时。创建分桶表的语法是使用CLUSTERED BY子句指定分桶的列，并使用INTO子句指定分桶的数量。可以使用INSERT INTO TABLE语句将数据导入分桶表。\[2\] 在Hive 0.x和1.x版本中，需要设置hive.enforce.bucketing=true来强制分桶，以便程序可以根据表结构自动选择正确数量的Reducer和cluster by column来进行分桶。可以使用CTAS语句将数据从一个表复制到分桶表中。\[3\] 总结起来，分区表和分桶表都是用来提高查询性能和管理数据的技术，分区表是按照某个列的值进行分区存储，而分桶表是按照哈希函数的结果进行分桶存储。 #### 引用[.reference_title] - *1* *2* [大数据—Hive（七）_ 分区表和分桶表](https://blog.csdn.net/m0_52968216/article/details/128667517)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hive分区表和分桶表](https://blog.csdn.net/mxk4869/article/details/125635202)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]