![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
xiaonaughty
这个作者很懒,什么都没留下…
展开
-
combineByKey
/** * Generic function to combine the elements for each key using a custom set of aggregation * functions. This method is here for backward compatibility. It does not provide combiner * classt转载 2016-06-30 11:13:06 · 449 阅读 · 0 评论 -
动态资源分配(Dynamic Resource Allocation)
转自:http://zhangxiong0301.iteye.com/blog/2192641从spark1.2开始,可以根据application的负载动态地增加和减少分配给application的资源。也就是说,你的application在不需要资源的时候会把资源退还给集群,而在需要的时候重新申请获得资源。这在spark集群上有多个application时候很有用。当分配给某个applicati转载 2016-06-30 18:14:28 · 5180 阅读 · 0 评论