Spark上矩阵运算库(五)——高级矩阵操作1

最新推荐文章于 2021-11-01 14:04:05 发布

Fluid开源社区

最新推荐文章于 2021-11-01 14:04:05 发布

阅读量3.2k

点赞数

分类专栏：开源夏令营

本文链接：https://blog.csdn.net/u014252240/article/details/38642005

版权

本文回顾了工作中的高级矩阵操作，重点介绍了用于协同过滤算法的ALS（Alternating Least Squares）。ALS算法将评分矩阵分解为低秩矩阵和商品矩阵因子的乘积，通过已知评分数据学习这两个因子，以最小化重构误差。在Spark的MLlib中，ALS经过优化以提高性能。文中提到在Amazon Reviews dataset上的实验结果，并计划将ALS和其他高级矩阵操作纳入自建的矩阵库中。

摘要由CSDN通过智能技术生成

工作回顾

前面我们已经基于Spark设计并实现了常见的分布式矩阵操作，主要包括BLAS1-2的操作，如矩阵相加、相减、相乘等。

接下来的一阶段，我们的工作分类两部分。第一，继续完善基本操作，比如支持一些向量的操作；第二，实现1、2个高级矩阵操作，如矩阵的分解等等。

高级矩阵操作

矩阵的分解操作是众多矩阵高级操作中的一类被广泛研究的操作。很多高级矩阵操作(如矩阵求逆)可以转换为矩阵的分解。本周我们介绍并引入MLlib为实现协同过滤算法而包含的矩阵分解算法——Alternating Least Squares (ALS).

ALS将推荐系统中的评分矩阵看成是有一个low-rank 矩阵和商品矩阵因子相乘得到。算法通过已经观察到的评分数据学习出这两个因子，学习的约束是尽量降低重构出矩阵的误差。一旦我们学习出这两个子矩阵，原来矩阵中其他的元素就可以通过这两个因子相乘得到.ALS是一个迭代的算法，每轮计算过程中算法固定住其中一个因子去优化另一个（这一点和EM很像），不断交替直到收敛。该算法已经在Mllib里面有包含，并在底层采用了LAPACK包进行了优化。