hadoop core
想艳阳天里的你
这个作者很懒,什么都没留下…
展开
-
MapReduce 的运行流程
1、运行流程由上图可以看到MapReduce 执行下来主要包含这样几个步骤:首先对输入数据源进行切片2)master 调度 worker 执行 map 任务3)worker 读取输入源片段4)worker 执行 map 任务,将任务输出保存在本地5)master 调度 worker 执行 reduce 任务,reduce worker 读取 map 任务的输出文件6)执行 red...原创 2018-12-18 21:44:22 · 346 阅读 · 0 评论 -
WordCount 代码实现【java】
1、Map 类编写Mapper:是 MapReduce 计算框架中 Map 过程的封装Text:Hadoop 对 Java String 类的封装,适用于 Hadoop 对文本字符串的处理IntWritable:Hadoop 对 Java Integer 类的封装,适用于 Hadoop 整型的处理Context:Hadoop 环境基于上下文的操作对象,如 Map 中 key/val...原创 2018-12-18 22:04:41 · 999 阅读 · 0 评论