hive使用技巧（一）自动化动态分配表分区及修改hive表字段名称

最新推荐文章于 2024-03-07 12:57:36 发布
最新推荐文章于 2024-03-07 12:57:36 发布
阅读量3.6k 收藏
点赞数
分类专栏： 批量:Hive/Spark/Hbas 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BDCHome/article/details/46237167
版权
本文介绍了如何在Hive中实现自动化动态分配表分区和快速修改表字段名称。首先，通过设置`hive.exec.dynamic.partition.mode=nonstrict`来允许动态分区，并展示了一个示例SQL插入数据到指定分区。接着，详细阐述了如何重新创建带有新字段名的表，并通过`ALTER TABLE`语句添加已有的分区，避免了数据移动。
摘要由CSDN通过智能技术生成

Author：FuRenjie kwu

1、自动化动态分配表分区

set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table ods.fund2hundsunlg PARTITION(day)
select distinct fromHostIp ,hundsunNodeIp,concat(substring(requestTime,0,10),' ', substring(requestTime,12,8)) , http

最低0.47元/天 解锁文章
大数据部
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive学习之修改表、分区、列
skyWalker_ONLY
06-12 4万+
修改表/分区/列 修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。 重命名表 重命名表的语句如下： ALTER TABLE table_name RENAME TOnew_table_name 修改表属性 修改表属性的语句如下： ALTER TABLE table_na
hive修改表名、列名、各种注释、增删列、属性、分区名、分区字段类型
热门推荐
五行缺火
03-01 2万+
hive 表总共分为四类，分别内部表、外部表、分区表、桶表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外...
分区表怎样进行添加分区和重命名分区？
zy1992As的博客
07-24 788
上述命令执行完成后，在Hive客户端工具Beeline中执行“SHOW PARTITIONS hive_database.partitioned_table:”命令.查看数据库hive_database中分区表partitioned_table的分区信息，如图所示。接下来,在虚拟机Node_03中使用Hive客户端工具Beeline,远程连接虚拟机Node_02的HiveServer2服务操作Hive.重命名数据库hive_database中分区表partitioned_table的分区，具体命令如下。
HIVE 增加修改删除字段
m0_67266585的博客
06-08 420
增加字段可以使我们在所有字段之后和分区字段之间增加一个字段 使用格式 使用示例，在 中增加 字段，现有的表数据如下： 当我增加新的字段 后，新增字段前的数据该列显示为 ，那么如果我们新增一条数据呢？ 结论：非分区表新增字段后，原有数据的该字段会显示为 ，新增的数据会按新增的数据进行展示 还没结束，我们向 再新增 字段的时候再加下这两个 属性，看看会发生什么 添加 后执行失败，说明非分区表再添加字段时不能加 添加 后执行成功，该语法具体含义后面再述修改前 修改字段 的字段名称为
Hive修改外部表分区名并且重命HDFS目录名字查询不到数据
最新发布
xylf1988的专栏
03-07 418
因此为了让我们修改后的分区可以正确的加载数据，我们去删除掉原来的分区dt=‘2020-03-31，新建一个dt=‘2020-03-31，并且上一步的时候，我们已经将HDFS目录的dt=‘2020-04-01’修改为dt=‘2020-03-31’。但是这个软连接hive的dt=‘2020-03-31’与HDFS的dt=‘2020-04-01’已经失效，找不到的dt=‘2020-04-01’。Hive创建的一张外部表 table_1, 有一个按照天增量存储的分区，dt=‘2020-04-01’
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区...
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
修改hive表分区名称
02-17
hive表修改分区数据
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
自动化脚本一键安装 jdk，hadoop，hive
09-13
自动化脚本一键安装 jdk，hadoop，hive
Hive(二)分区,修改分区,严格模式
hello world
09-09 3278
hive的分区表： 分区意义： 避免全表扫描，从而提高查询效率。默认使用全表扫描。 使用什么分区？ 日期、地域、能将数据分散开来？ 分区技术： [PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)] 1、hive的分区名区分大小写 2、hive的分区字段是一个伪字段，但是可以用来进行操作 3、一张表可以有一...
Hive编程指南 | 增加、修改、删除字段、修改分区
02-04 5676
Hive编程指南 | 增加、修改、删除字段
hive实现全自动动态分区
iilegend的博客
06-22 6100
我们在业务中往往会遇到一种情况就是： 现有的业务已经有很多的数据堆积，并且需要根据现有的数据以分区的形式来建立数据仓库，这样的话就需要将表中的一个字段作为分区字段，以这个字段的值作为分区的依据。 那么就需要动态分区进行处理： 首先需要设置参数: -- 表示开启动态分区功能 （默认false） set hive.exec.dynamic.partition =true --(默认st...
Hive如何根据表中某个字段动态分区
与优秀的人在一起，会使自己变得更优秀
11-12 2556
使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。   Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 create table t_test_p_source ( id string, ...
Hive分区表学习总结
主要分享大数据相关的知识，如Spark、Hudi
12-04 1020
前言 用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。 分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区 1、建表语句 先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句是一样的。 create table test_partition ( id strin...
黑猴子的家：Hive 修改表
黑猴子的博客
09-29 265
1、表重命名 （1）语法 ALTER TABLE table_name RENAME TO new_table_name （2）实操案例 hive (default)> alter table dept_partition2 rename to dept_partition3; 2、增加/修改/替换列信息 1）语法 更新列 ALTER TABLE table_nam...
快速查询hive数据仓库表中的总条数
07-20 1万+
Author： kwu --- 快速查询hive数据仓库中的条数，在查询hive表的条数，通常使用count(*)，但是数据量大的时候，mr跑count(*)往往需要几分钟的时间。
Hive根据另一个表的字段值查询当前表字段名
05-24
可以使用Hive中的子查询和动态列名来实现根据另一个表的字段值查询当前表字段名的功能。 例如，假设有两个表table1和table2，它们的结构如下： table1: | id | name | age | |----|------|-----| | 1 | Tom | 20 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值