hive避免执行mr获取最大分区

最新推荐文章于 2023-10-09 20:45:20 发布
最新推荐文章于 2023-10-09 20:45:20 发布
阅读量195 收藏
点赞数
文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42536938/article/details/132688407
版权
文章介绍了如何通过在Hive中避免直接使用`SELECTMAX`查询来获取最大分区，以减少资源消耗和提高查询速度，方法是先执行`SHOWPARTITIONS`命令获取分区列表，再通过shell和awk/sed筛选出最大分区时间。
摘要由CSDN通过智能技术生成

因为直接select max(dt) from hiveTab会占用较多资源并且速度很慢，执行show partitions hiveTab然后通过shell可以避免执行mr快速获取最大分区。

# 获取分区列表（按时间倒序）
partitions=$(hive -e "SHOW PARTITIONS $hiveTab" | sort -r)

# 筛选出最大分区时间
max_part=$(echo $partitions | awk '{print $1}' | sed "s/$partition_columns=//g")

insistere
关注
Hive MR & Spark & Yarn参数优化总结
weixin_41367158的博客
03-05 146
缺点：开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。这就需要推测执行，hadoop的推测执行机制会给这些有可能需要长时间才可以执行完的task准备一个备份，一旦task执行缓慢，那么备份task也会执行task的工作，看哪个先执行完就使用哪个的结果。
Hive如何取最大分区
别人笑我太疯癫，我笑他人看不穿。
05-06 8461
在我们数据处理的时候取最大分区是一个常有的事，可以说在原始层流出的数据百分之九十九的表都要涉及到最大分区，因为不是增量表就是全量表，所以最大分区怎么取也是一个众说风云的事情，接下来我给大家说说我的经验，供大家参考一下 首先我们不能直接max(time)，不然效率上就不能说拖整个数据流的后退了，那简直是裤子都拉没了 也不要有使用hive的show partitions tablename，然后排序取第一个或最大值这样的想法，因为show语句的结果不能做为一个结果集用，会报错的 第一种方式我们可以考虑使用如下的
Hive获取最大分区
欲望以提升热忱 毅力以磨平高山
08-13 9764
需求： 需要在hive的SQL语句中使用函数来解析指定表的最大分区 倘若我们使用 select max(pt) from ods. ods_tb_customer_df 的方式去获取最大分区还需启动一个map任务进行计算，我本地测试的结果，一次这样的计算需要Time taken: 73.849 seconds ，简直不能忍，所以需要寻求更好的方式。 我们知道hive中有HiveMetaStoreClient api 可以直接获取分区数据，省去了中间环节，效率大增，具体可以参考 http://hive..
presto 直接查询hive表最大分区方法
sinat_27548257的博客
10-09 422
presto 直接查询hive表最大分区信息
hive避免MR的情况
weixin_43705952的博客
05-08 1449
什么情况下Hive可以避免进行MapReduce hive 为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs目录中的文件进行filter过滤。也就是所谓的本地模式。 sql select * from employee; sql select * from order_partition where month=‘2020-05’; 此外，如果设置属性 set hive.exec.mode.local.auto=
关于Hive SQL是否走MR任务的总结
u012667450的博客
04-28 1677
关于Hive SQL是否走MR任务的总结 Hive1.X和Hive2.X的版本，默认情况下，一般都会走MR程序。除了三种情况： 1.select * from table_name #select * 的情况不会走MR 2.select column1,column2 ... from table_name #select指定字段名的情况不会走MR（where和having除外） 3.select * from table_name limit N #select * 限制输出条数不会走MR 当然，以上说
龙战于野大数据MR原理启动hive查询表分区.docx
03-13
Hive查询表分区的MR原理启动详解 Hive是一款基于Hadoop的数据仓库工具，主要用于处理结构化和半结构化的数据。MR（MapReduce）是Hadoop中的一种编程模型，用于处理大规模数据。在Hive中，MR原理启动是指使用...
hive查看一张表的分区字段_Hive表分区与索引
weixin_39556590的博客
12-19 1950
hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段；partitioned by (dt String,country string);create table pt_test(ts bigint,line string)partitioned by (dt S...
Hive-MR引擎
刘斌的博客
04-25 2892
文章目录概述组成部分语法DDLDML函数调优压缩和存储 概述 组成部分 语法 DDL DML 函数 调优 压缩和存储
spark或mr引擎插入的数据，hive表查询数据为0
最新发布
02-28
通过上述分析可以看出，对于“Spark或MR引擎插入的数据，Hive表查询数据为0”的问题，主要是因为Tez引擎在执行`UNION ALL`操作时生成了额外的子目录，而查询引擎未能正确处理这些子目录。通过改变数据写入方式或是...
hive笔记，干货满满，基础语法，分桶分区等
06-20
语法笔记hive干货，没有废话，基础语法，自己学习中记录的基础简单内容，入门级别，分桶，分区，查询，常用命令等。
Hive---select语句什么时候不走MR
shall潇の菜园
04-20 1821
其实普通全表查询—不需要走MR 例如：select * from 表名 ，这是通过对文件进行filter过滤就可以实现查询 count、sum、group等聚合函数—是一定会走MR的 【注意：配置简单查询不走MR的方式】 在hive-site.xml里面有个配置参数：hive.fetch.task.conversion 将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce 不走MR的各种情况： 1、等值判断 select *
Hive SQL触发MR的情况
盛夏光年-进阶修炼池
11-30 913
Hive是否触发作业跟hive.fetch.task.conversion这个参数有关 参数分类: none minimal more(默认) 可以在hive-default.xml.template 中查看 测试语句: desc student; select * from student; select * from student where id in (“1”, “3”); select count(1) from student; select user, count(1) as
hive day03
UUSUU的博客
09-25 962
修改列 新建表t_seq hive> create table t_seq like test_1; 添加列 hive> alter table t_seq add columns(address string,age int); 全部替换 hive>alter table t_seq replace columns(id int,name str...
Hive 常见操作
冬的博客
04-13 1839
1. 切分字符串 语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str，会返回分割后的字符串数组 举例： 1.基本用法 hive> select split('abcdef', 'c') from test; ["ab", "def"] 2.截取字符串中的某个值 hive> select split('abcdef', 'c')[0] from test; ab 3.特殊字符 如正则表达式中的特殊符号作为分
HIVE获取最新分区的数据的方法
u011250186的博客
02-18 4839
场景 以dt（日期）分区的hive表，获取最新一天的分区数据 如果是普通的SQL的话，下面这样写就可以了，但是hive中这种写法会报错 SELECT * FROM xxx WHERE dt=(SELECT max(dt) FROM xxx) 解决方法 在hive里，要用alias才能获取分区中的数据，而且查询条件（WHRER）中还必须带有分区字段（dt），否则会报错 SELECT b.item as `item` FROM (SELECT MAX(dt) as latest_dt FROM xxxx .
hive获取分区表最新分区的数据
weixin_42410172的博客
11-12 1万+
分区表：devin 分区字段：op_day(8位格式日期：20181112) select t2.* from (select max(op_day) as latest_op_day from devin) t1 join devin t2 on t1.latest_op_day = t2.op_day;
Hive之Show、Describe语句使用
热门推荐
BabyFish13
07-24 1万+
1.表及分区格式化信息包含存储位置、分隔符格式、创建时间等信息。describe formatted table_name [PARTITION(partition_desc)]; describe formatted recommend_data_view partition (pt_day='2018-07-19'); describe formatted recommend_data_v...
揭秘Hive执行机制：MR MapReduce详解
首先，当用户在Hive中编写这样的SQL语句时，实际上是利用了Hadoop生态系统中的MapReduce编程模型来执行数据处理。Hive通过元数据管理工具Hive Metastore存储表结构，用户的数据操作实际上是在这个元数据上进行的。当...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值