自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

夫唯不争，故天下莫能与之争。

属于你的东西，你就要努力去争取。微信公众号【数据空间站】

12月 11月 10月 09月 08月 07月 05月 04月 03月 01月

原创 RDD的CombineBykey

需要对一个KV类型的RDD按照Key进行分组，以前一直用groupBy，但是这个函数比较耗费内存，会首先进行shuffle，数据量比较大的时候，需要把数据都传输过去，所以比较耗费时间及内存，甚至会直接OOM。 CombineBykey在一定程度上优化了groupby，类似于MR中的combine，在shuffle传递之前在map端进行一次合并，这样在数据量很大的时候会减少很多不必要的传输。 C

2016-10-23 09:43:53 1104