hive中的表分区与hdfs中MapReduce中的shuffle中的分区操作的区别以及关系

最新推荐文章于 2024-08-01 08:57:51 发布

蓝之刃

最新推荐文章于 2024-08-01 08:57:51 发布

阅读量928

点赞数

本文链接：https://blog.csdn.net/qq_16320025/article/details/103019474

版权

hive中在建表时指定的分区一般是按导入数据中的一列或者多列分区，体现在hdfs中的存储就是多个文件（每个分区对应一个文件），而在MapReduce中的shuffle操作时也会涉及到分区操作，此时若在hive的查询条件中指定了分区条件，对应的只是hdfs中的某个分区对应的文件参与分布式MapReduce计算，在计算过程中shuffle的分区操作是他分分区策略，显然与建表时的分区字段是无关的，而一旦在hive查询中指定了partition by条件（也许是个子查询中），那么这个子查询所开启的MapReduce操作中的分区使用partition by后指定的字段进行分区操作

标红的字段暂时存疑