hadoop
文章平均质量分 85
美伊小公主的奶爸
美伊小公主的超级奶爸!
展开
-
YARN环境中应用程序JAR包冲突问题的分析及解决
Hadoop框架自身集成了很多第三方的JAR包库。Hadoop框架自身启动或者在运行用户的MapReduce等应用程序时,会优先查找Hadoop预置的JAR包。这样的话,当用户的应用程序使用的第三方库已经存在于Hadoop框架的预置目录,但是两者的版本不同时,Hadoop会优先为应用程序加载Hadoop自身预置的JAR包,这种情况的结果是往往会导致应用程序无法正常运行。下面从我原创 2016-03-02 16:43:12 · 2539 阅读 · 0 评论 -
YARN 内存参数终极详解
很多朋友在刚开始搭建和使用 YARN 集群的时候,很容易就被纷繁复杂的配置参数搞晕了:参数名称相近、新老命名掺杂、文档说明模糊 。特别是那几个关于内存的配置参数,即使看好几遍文档也不能完全弄懂含义不说,配置时一不小心就会张冠李戴,犯错误。如果你同样遇到了上面的问题,没有关系,在这篇文章中,我就为大家梳理一下 YARN 的几个不易理解的内存配置参数,并结合源码阐述它们的作用和原理原创 2016-03-02 17:37:25 · 10140 阅读 · 2 评论 -
YARN, MR History Server和Spark History Server
YARN, MR History Server和Spark History Server三者的区别:今天听到有人说, "Yarn自带的History Server"如何如何之类的。看来还有很多人把history server当做是为YARN的应用提供服务的功能。所以我想,还是有必要梳理一下YARN, YARN中的history server,以及spark的history server。原创 2016-08-02 00:23:07 · 4345 阅读 · 0 评论