spark
文章平均质量分 80
然月枕流君
睡觉,动漫~宅男
展开
-
关于Spark的Broadcast解析
首先,推荐下大神的文章,http://blog.csdn.net/column/details/spark.html仅作为大神未未提到的细枝末节,进行补充。Broadcast(广播)是相对较为常用编码功能,通常使用方式,共享配置文件,map数据集,树形计算结构等,为能够更好更快速为TASK任务使用相关变量。期间,曾见过有同学讲原始日志(log)进行广播,导致集群运行缓慢,诸原创 2015-02-08 22:44:19 · 28468 阅读 · 2 评论 -
spark的FairSchedule
spark 内置TaskScheduler级别的调度算法,分别是队列与公平,默认是队列方式。具体源码可参考SchedulableBuilder准确来讲spark有两层公平,一层是公平调度,一层是公平算法,如此便可使用公平调度+公平算法 或 公平调度+队列算法公平调度方面,spark的多队列设置在standlong模式下则是较为鸡肋,原因在于没有动态选择队列执行任务的权利,同时公平调度仅仅是原创 2015-03-16 18:31:54 · 3595 阅读 · 0 评论