![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
sxf_0123
这个作者很懒,什么都没留下…
展开
-
FileInputFormat类中split切分算法和host选择算法介绍
FileInputFormat类中split切分算法和host选择算法介绍 在hadoop源码的org.apache.hadoop.mapred包中,有个FileInputFormat类,这个类的主要作用是提供统一的getSplits函数。该函数实现中最核心的两个算法是split切分算法 和 host选择算法。 1、什么是split? 它是在逻辑上对输入数据进行的分片转载 2017-04-23 18:19:30 · 676 阅读 · 0 评论 -
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和 Map/Reduce编程模型型的原理是:利用一个输入key/value pair 集合来产生一个输出的key/value pair 集合。MapReduce 库的用户用两个函数表达这个计算:Map 和Reduce。Hadoop Map/Reduce实现主要是通过继承Mapper和Reducer两个抽象类,并实现map和r转载 2017-04-25 13:27:15 · 1022 阅读 · 0 评论