hive全局排序和分桶

最新推荐文章于 2023-03-28 10:33:08 发布
最新推荐文章于 2023-03-28 10:33:08 发布
阅读量246 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39126213/article/details/116898888
版权
面对100TB的大数据，全局排序通常是个挑战。尽管实际操作中较少使用全局排序，但可通过子查询和Top-N方法进行部分排序。若必须全局排序，可以借助UDF实现局部排序，结合多Reduce任务完成。然而，这种方法需要注意采样数据的范围和分布，以确保效率和准确性。
摘要由CSDN通过智能技术生成

hive中如何实现大数据情况下的全局排序

参照hbase的设计 范围分区+局部有序 (distribute by sort by +指定范围)

问题:遇到这样的面试题,有100t的数据,我们需要对其进行全局排序,怎么样做效率最高?

一般来说我们在实际中很少会遇到全局排序的状况会很少,所以我们一般都会采取子查询之后的数据进行排序,或者选取topn来排序.

如果非要对全局进行排序,我们需要使用udf转化成局部排序,这样话,就可以使用多个reduce来进行局部排序达到整体的有序.但是这里要注意采样数据的范围.

code_night
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 全局排序
xxh_segi的博客
03-11 2345
Hive全局排序取清单 CREATE TABLE tmp2 AS SELECT * FROM tmp DISTRIBUTE BY ( CASE WHEN year < 1930 THEN 0 WHEN year > 1960 THEN 2 ELSE 1 END) SORT BY (year ASC, t DESC); Hive全局排序取TopN --从表中获取name长度为TOP10的数据 SELECT a.id, a.name FROM ( SELE.
hive的全局排序和局部排序
weixin_38629422的博客
11-22 2430
order by:全局排序！最终使用一个reducetask来完成排序，就算设置了很多个也没用，如果数据量很大使用order by是不明智的 sort by
hive：几种排序的区别（排序）
不花的花和尚的博客
02-25 1003
排序 6.5.1 全局排序（Order By） Order By：全局排序，只有一个Reducer 1．使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 2．ORDER BY 子句在SELECT语句的结尾 3．案例实操 （1）查询员工信息按工资升序排列 hive (default)> select * from ...
hive分桶，排序，连接
开水烫鱼的博客
11-18 548
连接 1）等值连接 根据员工表和部门表中部门编号相等，查询员工编号、员工名、部门名称 select e.empno,e.ename,d.dept from empt e join dept d on e.deptno=d.deptn o; 2）左连接(左边的数据比右边大，对应找不到的数据就为Null) select e.empno,e.ename,d.dept from empt e left j...
Hive全局排序解决之道
pengpengsays
01-05 2068
全局排序Order By Hive中的全局排序，使用Order By来进行，具体语法为： SELECT <select_expression>, <select_expression>, ... FROM <table_name> ORDER BY <col_name> [ASC|DESC] [,col_name [ASC|DESC], ...] 但在Hive中使用全局排序时，需要注意，Hive会将所有数据交给一个Reduce任务计算，实现
大数据面试 Hive 八股文
02-20
8. **Hive分区和分桶** - **分区（Partitioning）**：根据特定列的值将数据划分为不同的目录，便于管理和查询。 - **分桶（Bucketing）**：基于哈希将数据分成固定数量的桶，有助于提高JOIN操作的效率。 理解并...
hive级联求和
04-10
在统计学和数据分析中，级联求和是指在一组数据中逐级累加特定字段的值，直到得到一个全局的总和。例如，如果我们有一个销售数据表，包含地区、城市、店铺和每日销售额等信息，级联求和可能需要计算每个地区的总销售...
Apache Hive面试题
02-19
- **特点**：全局排序，确保所有输出数据按指定字段排序。 - **限制**：只能使用一个Reducer，效率较低，尤其是在大数据量情况下。 2. **SORT BY**： - **特点**：局部排序，每个Reducer内部的数据按指定字段...
Hive SQL性能优化
最新发布
02-26
- **全局排序**：ORDER BY会导致所有数据进入同一个Reduce任务中进行排序，适用于小数据量查询。 - **局部排序**：SORT BY可以在多个Reduce任务中进行局部排序，提高效率。 - **示例**： ```sql SELECT uid, ...
hive常见的优化方案ppt
12-15
3. **避免全局排序和`DISTINCT`操作**：全局排序在大数据集上效率低下，应尽可能避免。使用`DISTRIBUTE BY`和`SORT BY`组合可以局部排序，提高效率。对于`DISTINCT`，可以考虑转换为`GROUP BY`。 4. **更换执行引擎...
在hive里面如何对一个很大的数据量进行全局排序
m0_51769717的博客
03-28 879
distribute by可以通过指定字段然后再通过字段的hash值对分区数取余然后分到各个分区里面这样大大避免了数据倾斜的可能性然后再使用sort by对每个分区进行排序这样就组成了内部有序外部无序的数据集，但是他也不不能达到最终全局排序的结果需要进行一次归并排序。他会把数据分到各个Reduce Task里面进行排序但是这样也有问题他可能有分配不均匀问题导致一个Reduce Task的数量特别多导致数据倾斜。由于order by 会对数据进行全局排序导致所有数据分到一个分区里。
[博学谷学习记录]超强总结，用心分享|关于hive的排序
weixin_43814165的博客
10-17 937
关于hive的排序
hive：排序查询
weixin_41391619的博客
12-06 230
hive排序查询中所涉及到的order by 、sort by 、distribute by和cluster by
hive十亿级以上数据全局排序的一种实现方式
eaglejava2015的博客
08-29 3111
hive十亿级以上数据全局排序的一种实现方式。 hive归并排序的一种特殊实现。
hive 全局排序
weixin_34113237的博客
10-09 511
不分发数据，使用单个reducer set mapred.reduce.tasks=1; select * from dw.dw_app where dt&gt;='2016-09-01' and dt &lt;='2016-09-18' order by stime limit 30000;   包多一层，是用order by select t.*...
hive中针对大数据量排序问题
qq_39519419的博客
12-10 1618
hive中针对大数据量排序问题 问题：在hive表中对十亿级数据进行全局row number（）over排序求行号的时候发现搞不定 解决思路：将表映射到hbase中，然后用 hbase org.apache.hadoop.mapreduce.RowCounter’表名’就可以解决了 ...
[大数据相关] Hive中的全排序：order by,sort by, distribute by
weixin_30488313的博客
08-16 456
写mapreduce程序时，如果reduce个数>1，想要实现全排序需要控制好map的输出，详见Hadoop简单实现全排序。 现在学了hive，写sql大家都很熟悉，如果一个order by解决了全排序还用那么麻烦写mapreduce函数吗？ 事实上，hive使用order by会默认设置reduce的个数=1，既然reducer的个数都是1了，结果自然全排序！ 这也违背...
Git分支--超基础
XXL_SanSui的博客
09-19 492
Git分支 使用分支意味着你可以从开发主线上分离开来，不影响主线的同时继续工作。 初始的时候使用git branch命令，会看到当前有且仅有一个master分支 //创建一个新的分支是 git branch a01 //然后查看一下分支，分支前面的 “ * ”代表当前是哪个分支，如果需要切换分支，可以使用下面的命令 git checkput a01 //修改分支名称 git branch -m a01 b01 //删除一个分支 git branch -d a01 //创建一个新分支并切换到该分支上
Java数据结构与算法———（44）归并排序
GTboy100的博客
07-21 118
归并排序，相对来说比较难理解。 一、代码 package sort; import java.util.Arrays; public class MergeSort { public static void main(String[] args) { int[] arr = { 8, 4, 5, 7, 1, 3, 6, 2 }; int[] temp = new int[arr.length];// 归并排序需要一个额外的空间 System.out.println("归并排序前：" +
hive 的排序方式对比
06-05
3. Sort By 排序：在查询语句中使用 SORT BY 子句指定需要排序的字段，Hive 会在 Map 端对数据进行局部排序，然后在 Reduce 端对数据进行全局排序。该方式适用于需要对部分数据进行排序的场景，但可能会导致 Reduce ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值