wisgood的专栏

hadoop任务优化1-调整Yarn队列资源

在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。 我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图： 从上图可以看到，MRv1是围绕着MapReduce进行，并没有过多地考虑以后出现的

#一、介绍 Hadoop 2.2没怎么关注过，太新，bug太多。2.4的更新直接自己带了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Hadoop就可以往生产环境逐渐切换了。 #二、配置               yarn.resourcemanager.ha.enabled          true

yarn内存参数

面试的过程中，笔者经常喜欢问一个问题：hadoop中map数是怎么确定的？但发现还是有好多面试者都答不上来。这个问题其实算是比较基础的一个问题，对于理解mapreduce的原理很有帮助。 今天有空结合源码分析一下。 本文以hadoop2.7.2的版本作为分析，代码链接如下。 —— [ github代码地址 ] 本文以org.apache.hadoop.mapreduce包作为讲解(即新AP...