Spark MLlib矩阵分解源码分析

本文介绍了Spark MLlib中奇异值分解(SVD)的实现,包括Square SVD与Tall and Skinny SVD。针对近似方阵,使用ARPACK算法包计算格拉姆矩阵ATA的奇异值分解;对于高瘦型矩阵,通过计算格拉姆矩阵ATA获取奇异值和右奇异向量。文章详细讲解了MLlib SVD的源码,并探讨了不同矩阵形状下的计算策略,以及如何利用分布式计算优化计算过程。
摘要由CSDN通过智能技术生成

基础知识

特征值分解

如果一个向量 v 方阵 A 的特征向量,可以表示成下面的形式:

Av=λv

其中, λ 为特征向量 v 对应的特征值,矩阵 A 的特征向量是相互正交的。
特征值分解是将矩阵 A 分解为如下形式:
A=QQ1

其中,矩阵 Q A 的特征向量组成的矩阵, 是对角矩阵。

奇异值分解

如果矩阵 A 不是方阵,是 mn 的矩阵, mn 。奇异值分解是将矩阵 A 分解成如下形式:

A=UVT

其中, U mm 的方阵,里面的向量为左奇异向量,是相互正交的, V nn 的方阵,里面的向量为右奇异向量,是相互正交的, mn 的对角矩阵,对角线上的元素为奇异值。
关于SVD的详细解释和实际含义,请参考 数据降维–SVD&CUR

两者之间的关系

(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值