[Spark基础]--Transform操作:Glom

本文介绍了Spark中的glom操作,用于将RDD的分区视为数组,从而减少shuffle操作,提高效率。通过glom,可以更有效地找到分区内的最大值,并在计算加权矩阵时避免昂贵的逐行操作,提升机器学习算法的性能。

感谢原文作者:http://blog.madhukaraphatak.com/glom-in-spark/

今天,我将讨论spark rdd上名为“glom”的操作,它允许您将分区视为数组而不是单个行。这可以让你加快内存使用量的一些操作。

假设您想要在给定的RDD中找出最大值。

现在你可以使用map和reduce操作来完成它,如下所示。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值