Spark上矩阵运算库(二)—— 矩阵相乘测试

目前已经参照HAMA 0.1完成了密集矩阵相乘的所有代码,在小数据集上(例如 1000 * 1000 维度)测试均通过且正确运行。

但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。

下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。


ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值