Hadoop
sxf_0123
这个作者很懒,什么都没留下…
展开
-
FileInputFormat类中split切分算法和host选择算法介绍
FileInputFormat类中split切分算法和host选择算法介绍在hadoop源码的org.apache.hadoop.mapred包中,有个FileInputFormat类,这个类的主要作用是提供统一的getSplits函数。该函数实现中最核心的两个算法是split切分算法 和 host选择算法。1、什么是split?它是在逻辑上对输入数据进行的分片转载 2017-04-23 18:19:30 · 649 阅读 · 0 评论 -
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习
Hadoop Map/Reduce编程模型实现海量数据处理—数字求和 Map/Reduce编程模型型的原理是:利用一个输入key/value pair 集合来产生一个输出的key/value pair 集合。MapReduce库的用户用两个函数表达这个计算:Map 和Reduce。Hadoop Map/Reduce实现主要是通过继承Mapper和Reducer两个抽象类,并实现map和r转载 2017-04-25 13:27:15 · 981 阅读 · 0 评论