Hadoop
文章平均质量分 80
怦然心动A
初来乍到,多多关照
展开
-
Hadoop和Hive
一、什么是动态分区二、 为什么使用动态分区从业务层面: ①:当我们在业务中频繁的对某一个字段分区聚合时,就会将该字段作为分区字段来设置分区,当有大量的数据需要存储时, 可以一次性的将这些数据导入分区中(与静态分区不一样,静态分区一次只能导入一个分区的数据) ②: 在分布式计算框架中减少数据的IO迁移带来的负载,从而提升效率,性能从技术层面: 开启动态分区的模式:(静态分区不需要) set hive.exec.dynamic.partition=true原创 2020-12-21 18:44:47 · 213 阅读 · 0 评论 -
HDFS,MapReduce,Yarn详细介绍
Hadoop集群概述原创 2020-12-04 09:40:47 · 3542 阅读 · 2 评论