CUR矩阵分解

SUFEHeisenberg

于 2022-11-12 18:59:36 发布

阅读量1.3k

点赞数 1

分类专栏： statistics Data Processing Linear Algebra 文章标签：矩阵

本文链接：https://blog.csdn.net/weixin_43557139/article/details/127823880

版权

22 篇文章 0 订阅

订阅专栏

6 篇文章 0 订阅

订阅专栏

3 篇文章 0 订阅

订阅专栏

SVD缺点：

SVD: $X=U\Sigma V^T$ ，其中 $U, V$ 都是Big and Dense， $\Sigma$ 是Small But Sparse。

Aims to Get:

CUR: $X = C U R$ ，其中 $C, R$ 都是Big but Sparse， $U$ 是Small and Dense。

Rough Intuition:

CUR选的点可能是更偏离远点的，同时坐标轴可能是多余的。

TL;DR.

Given Input Matrix A:

Randam choose, C columns, R rows.
$C\cap U$ intersection point matrix $W$ .
SVD Decomposition $X\Sigma Y^T$
Derive Generalized inverse matrix of $\Sigma^{+} $ via $\Sigma$ , i.e. non-zero elements turn to its countdown
Derive $U=Y\Sigma^{+}X^T$
$A=C\cdot U\cdot R=C\cdot Y\cdot \Sigma^{+}\cdot X^T\cdot R$

第一步关于如何选择C,R

Mahoney等人提出可以里用normalized statistical leverage scores $\pi_j=\frac{1}{k}\sum_{\eta=1}^k=(v_\eta^i)^2$ ，i.e.该列/行的二范数占所有列数二范数的比例，作为衡量其统计影响力的指标。也即square of its Frobenius norm。
苏剑林解读论文

可能有读者想问“有代表的q,kq,k要怎么选？”，事实上，大多数情况下都是随机选的，这就留下了一些提升空间，比如可以聚类后选最接近聚类中心的那个，这些就看大家自由发挥了。另外要指出的是，CUR分解本身只是一种近似，它肯定有误差，所以该加速方案主要是为检索场景设计的，检索场景的特点是比较在乎topk的召回率，而不是特别要求top1的精确率，我们可以用CUR分解加速来召回若干个结果后，再用精确的s(q,k)做一次重排序来提高准确度。