hadoop
tech_chenlongzhen
博学慎思,明辨笃行.
[gihub: https://github.com/chenlongzhen]
[原博客不再更新: http://blog.csdn.net/sadfasdgaaaasdfa]
展开
-
mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】
wordCount/** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/WordCount. */package chapter1;import java.io.IOException;import java.util.St原创 2018-01-19 14:45:06 · 196 阅读 · 0 评论 -
mapreduce入门 note2 【mapreduce标准流程|】
mapreduce标准流程InputFormat读取HDFS得到数据,并解析为key-value格式以供map函数使用 InputFormat同时perform(不知道怎么翻译,不是很理解)数据逻辑分区为Map task提供计算标准的MR计算会对每个HDFS块创建Map 任务combine(参见note 1)Partitioner step:每个partitioner是按照key原创 2018-01-19 14:45:42 · 512 阅读 · 0 评论