BlockheadLS的博客

多看书,多请教,勤思考,勤记录。

spark on yarn作业运行的jar包缓存优化

原文地址参考自下文这几天一直在追查spark on yarn的作业运行中的jar包分发,以及执行后的jar包删除的问题。从一开始的毫无头绪,到后来逐渐清晰,到后来通过hadoop的两个很简单的参数配置解决了问题。不得不说,虽然问题不大,对某些大牛们来说也真是小case,但是追查问题,定位问题到最终...

2016-12-12 16:13:45

阅读数:460

评论数:0

Spark的任务调度学习

背景Spark的调度依次是Application调度、Job调度、Stage调度和Task调度,其中在Spark On Yarn下,Application调度是ResourceManager的工作,Application级别资源的调度是Yarn来分配的,这在《Spark下Yarn-Cluster和...

2016-12-07 01:27:05

阅读数:615

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭