spark任务调优

一。首先我们来看一下本来的任务时间。

 

二。调优azkaban的job并行任务数

优化了12s，如何优化可以参看上一篇文章，本篇着重说一下spark的任务数

# default 10 but we need faster
flow.num.job.threads=20

 

 

三。增加spark内存

发现之前机器应该是内存分配不够，分配的内存全部占满了。

赶紧增加内存，并且为了后面数据做准备，多增加一点。

可以看到增加了   yarn.nodemanager.resource.memory-mb   之后，明显内存够了，只用了一半就完成了任务。

 

还有什么可以提高速度的，我们赶紧想，比方说spark的并行度，默认是200，我们可以否调整一下，因为我们要快！那行，说干就干。

关键这样我看不懂啊，也不搞个节点名称，搞group看不懂是哪一个，因为我们有一台机器性能比较差，所以，想想办法，稍等下。

 

找到了，点击主机然后就看内存就好了。

 

原来我发现，174 175  176分配的内存都被用了好多，现在我们要增大，赶紧增大，然后速度应该会提高很多，等下要惊呆你们的眼睛的。

 

 

但是我无脑高大内存之后，我发现continer变多了，也就是说申请的资源变多了，内存利用率也高了。。。这就很烦了。。。

 

要找到那个最优的状态。。。