![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
Dancy_DD0421
这个作者很懒,什么都没留下…
展开
-
HiveSQL解析过程详解
HiveSQL解析过程详解Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了 一些Hive的bug,也有利于我们优转载 2020-08-09 15:51:49 · 1680 阅读 · 0 评论 -
MapReduce原理
MapReduce任务一个MapReduce任务主要包括两部分:Map任务和Reduce任务.(1) Map任务服务对数据的获取、分割与处理,其核心执行方法为map()方法。(2) Reduce任务负责对Map任务的结果进行汇总,其核心执行方法为reduce()方法。MapReduce设计思想MapReduce 的设计思想是,从HDFS中获得输入数据,将输入的一个大的数据集分割成多个小数据集,然后并行计算这些小数据集,最后将每个小数据集的结果进行汇总,得到最终的计算结果,并将结果输出到HDFS中原创 2020-08-09 15:52:50 · 187 阅读 · 0 评论