Spark中稀疏矩阵的存储方式

     最近运行程序发现程序一直报错内存溢出OutOfMemoryException,仔细想来应该是程序中用到十分多的矩阵而且循环多,矩阵存储方式都是用的DenseMatrix形式存储的,从而导致内存不够,查阅Spark API发现Spark还有多种其它的矩阵存储方式。因为大部分矩阵是稀疏矩阵,所以主要用到稀疏矩阵,但是发现API中的存储方式不好理解,查阅百度后发现一篇写的不错的关于稀疏矩阵的存储方式的博文,在此贴出链接以供参考:http://www.cnblogs.com/xbinworld/p/4273506.html?utm_source=tuicool&utm_medium=referral

    Spark中SparseMatrix使用的就是CSR的形式存储的矩阵,CoordinateMatrix用的应该是COO形式存储的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值