hadoop core
想艳阳天里的你
这个作者很懒,什么都没留下…
展开
-
MapReduce 的运行流程
1、运行流程 由上图可以看到MapReduce 执行下来主要包含这样几个步骤: 首先对输入数据源进行切片 2)master 调度 worker 执行 map 任务 3)worker 读取输入源片段 4)worker 执行 map 任务,将任务输出保存在本地 5)master 调度 worker 执行 reduce 任务,reduce worker 读取 map 任务的输出文件 6)执行 red...原创 2018-12-18 21:44:22 · 401 阅读 · 0 评论 -
WordCount 代码实现【java】
1、Map 类编写 Mapper:是 MapReduce 计算框架中 Map 过程的封装 Text:Hadoop 对 Java String 类的封装,适用于 Hadoop 对文本字符串的处理 IntWritable:Hadoop 对 Java Integer 类的封装,适用于 Hadoop 整型的处理 Context:Hadoop 环境基于上下文的操作对象,如 Map 中 key/val...原创 2018-12-18 22:04:41 · 1049 阅读 · 0 评论