![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
会飞的大楼
这个作者很懒,什么都没留下…
展开
-
MapReduce原理2(转载)
MapReduce的shuffle机制1、概述mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;shuffle:洗牌、发牌——(核心机制:数据分区,排序,缓存);具体来说:就是将maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数据按key进行了分区和排序;2、主要流程s...原创 2020-07-27 10:18:06 · 83 阅读 · 0 评论 -
HBase的JavaAPI操作
HBase的JavaAPI操作 1 package hbase; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.hbase.HBaseConfiguration; 5 import org.apache.hadoop.hbase.HColumnDescriptor; 6 impor...原创 2020-07-27 10:25:56 · 109 阅读 · 0 评论