![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【MapReduce】
RobertLab
全栈不是一个岗位,而是一种思维。
展开
-
一、MapReduce入门
在使用java编写MaReduce程序之前,先让我们解决一个基本问题——MapReduce是什么?它的运行机制是怎么样的?能够打开这篇文章的读者,应该或多或少都有一些技术基础。但是为了使得下面的解说更加清楚明白,这里还是要简单描述一下。一、MapReduce是什么MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是...原创 2018-10-11 15:26:04 · 550 阅读 · 3 评论 -
二、MapReduce工作机制
一、思维导图二、知识点1.哪些作业是小作业?在作业初始化的时候,application master会根据任务的大小来判断是否要和application master运行在同一个JVM上;如果不是小作业,需要向Resource Manager申请新的容器;默认情况下,小作业就是少于10个mapper且只有1个reducer且输入大小小于一个HDFS快的作业(通过设置mapreduce.j...原创 2018-10-11 15:30:08 · 261 阅读 · 0 评论