- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Combiner与自定义Combiner
一、Combiner的出现背景1.1 回顾Map阶段五大步骤 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示：map section其中，step1.5是一个可选步骤，它就是我们今天需要了解的 Map规约 阶段。现在，我们再来看看前一篇博文《计数器与自定义计数器》中的第一张关于计数器的图：我们可以发现，其中有两...
2018-10-25 09:36:17
426
原创 MapReduce自定义writable统计文本中30W条信息中的电话号码的上下行及总流量
Driver类public class flowSum {static class mymapper extends Mapper<LongWritable, Text, Text, FlowBean>{ @Override protected void map(LongWritable key, Text value, Context contex...
2018-10-11 15:25:36
213
原创 mapreduce Initialization of all the collectors failed. Error in last collector was :null
在运行MapReduce的时候遇到这个错误，后来发现是自定义的flowbean没有implements writable接口
2018-10-11 15:15:43
3721
原创 JAVA实现统计文件中每个单词出现的次数
public class splitWords{ static HashMap<String, Integer > hashMap=new HashMap<String,Integer>(); public static void main(String[] args) throws FileNotFoundException { split
2018-10-09 19:32:24
10236
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人