distribute by 和 partitioned by 区别

最新推荐文章于 2023-06-05 10:17:11 发布
最新推荐文章于 2023-06-05 10:17:11 发布
阅读量7.2k 收藏 9
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jokertiger/article/details/115352558
版权

distribute by

DISTRIBUTE BY是控制map的输出在reducer是如何划分的
DISTRIBUTE BY是控制在map端如何拆分数据给reduce端的。
DISTRIBUTE BY可以控制某个特定行应该到哪个reducer。
distribute by 是根据has取模的结果来分区
````
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331171748267.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pva2VydGlnZXI=,size_16,color_FFFFFF,t_70)

如果有order ，顺序如下

在这里插入图片描述

cluster by

在这里插入图片描述

partition by 根据字段名分区的

基本与上图一致

jokertiger
关注
(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
爱吃辣条的博客
02-13 1321
Hive的排序——order by 、sort by、distribute by、cluster by
一篇文章彻底掌握 hive 中的 ORDER/SORT/CLUSTER/DISTRIBUTE BY 和 BUCKET 桶表
明哥的IT随笔
11-11 2125
大家好，我是明哥！本片文章，我们来总结下，HIVE 中的 order/sort/cluster/distribute by 和 BUCKET 桶表1 ORDER BYORDER BY 会对...
hive hsq中的group by & Distribute by & partition by & cluster by & partitioned by & clustered by
沉默的夏虫
11-08 4446
group by & partition by & Distribute by 首先一定要记住group by分组之后是会组内聚合的而后两者仅仅是分组了，并未有聚合操作 partition by是分区 Distribute by 可以理解为分簇 partition by是分区 区内排序用order by Distribute by 可以理解为分簇 簇内排序用sort by 另...
hive hsq中的group by & Distribute by & partition by & cluster by & partitioned by & clustered by
hellojoy的博客
05-25 3380
https://blog.csdn.net/qq_16320025/article/details/102976995 group by & partition by & Distribute by 首先一定要记住group by分组之后是会组内聚合的而后两者仅仅是分组了，并未有聚合操作 partition by是分区 Distribute by 可以理解为分簇 partition by是分区 区内排序用order by Distribute by 可以理解为分簇 簇内排序用s.
Hive中partition by和distribute by区别
weixin_44889391的博客
06-05 1816
通常查询时会对整个数据库查询，而这带来了大量的开销，因此引入了partition的概念，在建表的时候通过设置partition的字段, 会根据该字段对数据分区存放，更具体的说是存放在不同的文件夹,这样通过指定设置Partition的字段条件查询时可以减少大量的开销。1）partition by [key..] order by [key..]只能在窗口函数中使用，而distribute by [key...] sort by [key...]在窗口函数和select中都可以使用。
弄清Doris/StarRocks分区partition by和分桶distributed by的区别，以及如何选择对应的字段
m0_71049680的博客
08-11 8409
选择分区键 选择合理的分区键可以有效的裁剪扫描的数据量。目前仅支持分区键的数据类型为日期和整数类型。在实际业务场景中，一般从数据管理的角度选择分区键，常见的分区键为时间或者区域。按照分区键划分数据后，单个分区原始数据量建议不要超过 100 GB。 选择分桶键 选择高基数的列（例如唯一 ID）来作为分桶键，可以保证数据在各个分桶中尽可能均衡。如果数据倾斜情况严重，您可以使用多个列作为数据的分桶键，但是不建议超过 3 个列。...
[hive] 和数据库的比较 ｜ 内部表和外部表 ｜distribute by cluster by partition by｜order by sort by区别 | 修复分区
胖胖的博客
03-25 2201
1.和数据库的比较 hive和数据库除了拥有类似的查询语言，再无类似之处。 1）数据的存储位置 hive存储在HDFS，数据库将数据保存在块设备或者本地文件系统中。 2）数据更新 hive中不建议对数据的修改(开启事务可以做到),而数据库中的数据通常是需要经常修改的。 3）执行延迟 hive执行延迟较高，数据库的延迟较低。但这是有条件的，即数据规模较小。当数据规模大到超过数据库的处理能力时，hive的并行计算显然能体现出优势。 4）数据规模 hive支持大规模的数据计算，数据库可以支持的数
HIVE中，order by、sort by、 distribute by， cluster by区别和意义
yuanyuan___的博客
08-30 517
1. oreder by 主要做全局排序 只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block，只会启动一个reducer ）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有一点区别：如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数。因为：所有的数据都会在同一个reducer端进行，数...
Hive中sort by、distribute by、cluster by的区别及用法
qq_42826453的博客
01-10 2178
sort by sort by：每个MapReduce内部进行排序，对全局结果集来说并不是排序。 distribute by distribute by：类似MR中的partition，进行分区，结合sort by使用。 注意：Hive要求distribute by语句要写在sort by语句之前。 cluster by cluster by：当distribute by和sort by字段相同时...
partitioned by
最新发布
07-28
在Hive中，partitioned by是用来创建分区表的可选参数。通过在创建表时使用partitioned by参数，可以指定一个或多个字段作为分区键，将数据按照这些字段的值进行分区存储。这样可以在查询时只扫描关心的分区，减少了...
分组排序 Partition By、row_number()与排序rank()
Devin
01-31 1164
partition by关键字是分析性函数的一部分，它和聚合函数不同的地方在于它能返回一个分组中的多条记录，而聚合函数一般只有一条反映统计值的记录，partition by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组，分区函数一般与排名函数一起使用。 准备测试数据： create table Student --学生成绩表 ( id int, --主键 Grade i...
Hive求topN
RayfunC的博客
12-31 1089
select t2.* from( select pid,uid,cnt,row_number() over (partition by pid order by cnt desc ) as rank from ( select pid,uid,count(uid) as cnt from visit2 group by pid,uid order by pid,cnt desc ) as t1 ) as t2 where t2.r.
order by、distribute by、sort by、group by、partition by
热门推荐
哈
03-04 1万+
order by：全局排序 order by 会对数据进行一次全局排序，所以说，只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。 order by 只在一个reduce中进行，所以数据量特别大的时候效率非常低。建议在小的数据集中使用order by进行排序 可以通过设置hiv...
hive中order by 、sort by、distribute by、cluster by区别
mo
06-15 1350
1.Order By：全局排序，只有一个Reducer，所以当数据量很大的时候用order by会比较慢。 2.sort by:区内排序，每个Reducer内部进行排序，对全局结果集来说不是排序。 (使用sort by的话前提要设置一下reduce个数,set mapreduce.job.reduces=n,n为reduce的个数，n>1) 例如按照部门编号从高到低进行排序，这里我的reduce设置的是3。 原表数据 sort by 之后 insert overwrite local directo
Hive基础之：Order By、Sort By、distribute by 、cluster by的区别
weixin_43542605的博客
01-05 833
详解Order By、Sort By、distribute by 、cluster by的区别
Hive基础应用
Antg的博客
10-19 260
一.hive基础概念 1.数据模型 分区:按照表之外的虚拟字段将一个大表分成多个小表,例如按照年份进行分割 分桶:按照表中的真实字段的hash值将表进行分割 目的:都是为了提高数据处理的效率 2.数据类型 数值类型 日期类型 字符类型 varchar和char的联系 相同点 都是存储字符串的 不同点 varchar是变长,char是定长 应用场景 varchar一般用于用户名等长度不固定的数据存储 char一般用于手机号等定长的数据存储 布尔
hive关于partition的学习
qq_29983883的博客
05-20 814
为什么在Hive中使用分区 首先要了解这一点，让我们看一个场景。可以说有一家跨国银行，名称为ABC_BANK，跨多个国家。现在，我们有了一个表，其中包含名为“ new_cust ”的新客户的信息。假设您想找出来自“USA”的新客户数。hive这样做如下 搜索所有国家，并过滤’USA’的记录 计算“美国”的新客户数量 这样可以提供正确的输出，但是我们可以优化它，以便Hive更快地获取记录。如果Hive在已经存在属于USA的记录的地方已经很新了，那么它不必遍历所有国家/地区的记录该怎么办？这可以使用Hive P
HIVE介绍（五）
weixin_44616592的博客
07-05 1495
Hadoop生态圈 Hadoop生态圈包括HDFS 、MapReduce、Yarn三大核心外，Hive、Hbase、Flume、Sqoop都是附属于Hadoop这个生态圈下工具 1.HDFS HDFS（Hadoop Distributed File System）是HDFS是一个分布式文件系统，他涉及hadoop生态圈中的数据存储，MapReduce计算模型基于存储在HDFS中的数据进行计算。 HDFS中文件在物理介质的存储方式是 分块(block)存储,块大小是可以可以配置参数进行调配的(dfs.bloc
GP--表分区管理(二)
唐僧洗头爱飘柔
04-02 2863
定义日期范围分区表 日期范围分区表使用单个date或者timestamp字段作为分区键。 可以通过使用START值、 END值和EVERY子句定义分区增量让GPDB自动产生分区。 缺省情况下， START值总是被包含而END值总是被排除（左闭右开）。 CREATE TABLE sales ( id int , date date , amt decimal(10,2) ) DISTRIBUTE...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值