![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
tech_chenlongzhen
博学慎思,明辨笃行.
[gihub: https://github.com/chenlongzhen]
[原博客不再更新: http://blog.csdn.net/sadfasdgaaaasdfa]
展开
-
mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】
wordCount /** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/WordCount. */ package chapter1; import java.io.IOException; import java.util.St原创 2018-01-19 14:45:06 · 199 阅读 · 0 评论 -
mapreduce入门 note2 【mapreduce标准流程|】
mapreduce标准流程 InputFormat读取HDFS得到数据,并解析为key-value格式以供map函数使用 InputFormat同时perform(不知道怎么翻译,不是很理解)数据逻辑分区为Map task提供计算 标准的MR计算会对每个HDFS块创建Map 任务 combine(参见note 1) Partitioner step:每个partitioner是按照key原创 2018-01-19 14:45:42 · 526 阅读 · 0 评论