核范数最小二乘问题的唯一解析解(奇异值收缩算子可以给出)

转载 2018年04月17日 10:17:06

原文链接:http://blog.csdn.net/shanglianlm/article/details/46009387

为了求解问题

这里写图片描述

因为它是非凸的,我们求解一个它的近似算法

这里写图片描述

对于一个大的ττ值,它可以用下列等式接近

这里写图片描述

其中第一项为核范式(奇异值的和),第二项为Frobenius范式。

  1. Singular Value Thresholding (SVT) 奇异值阈值

    * 奇异值收缩(singular value shrinkage)*

    首先我们考虑一个秩为rr的矩阵XRn1xn2X∈Rn1xn2的奇异值分解如下: 
    SVD 
    其中 UU 和 VV 分别为 n1×rn1×r 和 n2×rn2×r 的正交矩阵,奇异值为ρiρi非负的。

    对于每个τ0τ≥0,我们有软阈值操作Dτ
    SVS 
    其中t+t+表示的tt非负部分,即 t+=max(0,t)t+=max(0,t)。换句话说,这个软阈值操作仅仅应用于矩阵 XX 的奇异值上,使它们趋于零。这也是为什么我们将其成为奇异值收缩(singular value shrinkage)的原因。

    * Singular Value Thresholding (SVT) 奇异值阈值*

    又因为奇异值收缩(singular value shrinkage)是核范式的近似操作(具体证明见[3]),因此上式可以转化为: 
    这里写图片描述

    它的迭代方式为: 
    这里写图片描述

    这个算法受到压缩感知中迭代算法的启发,在迭代过程中对矩阵进行SVD,然后将较小的奇异值设置为0,生成新的矩阵进行迭代。该算法运算速度快,对于高位低秩矩阵的恢复非常有效。

  2. 用拉格朗日乘子法解释

    原问题为:

    这里写图片描述

    其拉格朗日函数为:

    这里写图片描述

    强对偶成立,且拉格朗日函数的鞍点是原函数与对偶问题的最优解,即

    这里写图片描述

    其迭代解为:

    这里写图片描述

SVD(奇异值分解)及求解最小二乘问题

1. SVD 任意矩阵A (mxn), 都能被奇异值分解为: 其中, U是mxm的正交矩阵, V是nxn的正交矩阵, Σr是由r个沿对角线从大到小排列的奇异值组成的方阵. r就是矩...
  • hongqiang200
  • hongqiang200
  • 2014-07-31 21:47:54
  • 7124

奇异值分解与最小二乘问题

很多线性回归器的损失函数为均方误差: loss=∥Xw−y∥22loss=\Vert Xw-y\Vert_2^2   求解模型参数,需要最小化损失函数: min∥Xw−y∥22min \Vert...
  • qsczse943062710
  • qsczse943062710
  • 2017-07-24 19:49:13
  • 1006

核范数以及低秩RPCA

0范数是指矩阵非零元素的个数 1范数是矩阵所有元素绝对值的和 2范数对应欧式距离 无穷范数对应矩阵所有元素绝对值中最大的那个值 核范数可以约束低秩,而低秩可以应用到上面提到的四个方向      P...
  • LIYUAN123ZHOUHUI
  • LIYUAN123ZHOUHUI
  • 2016-05-18 18:06:16
  • 4601

Singular Value Thresholding (SVT) 奇异值阈值

这个算法受到压缩感知中迭代算法的启发,在迭代过程中对矩阵进行SVD,然后将较小的奇异值设置为0,生成新的矩阵进行迭代。该算法运算速度快,对于高位低秩矩阵的恢复非常有效。...
  • shanglianlm
  • shanglianlm
  • 2015-05-26 16:16:12
  • 5667

矩阵填充的SVT算法

本文是对SVT的一篇文章的理解,即奇异值阈值算法的理解。 1:算法解决的问题如下: 其中最小化的是核范数(表示矩阵奇异值之和),是rank(X)的最优凸近似。 具体研究...
  • lanyanchenxi
  • lanyanchenxi
  • 2015-12-30 17:36:46
  • 5495

soft thresholding 软阈值算法

软阈值算法解决的是如下优化模型:min1/2||X−b||22+λ||X||1min 1/2||X-b||_{2}^2+\lambda||X||_{1} 首先给出软阈值作用的图像: 其中左边的...
  • lanyanchenxi
  • lanyanchenxi
  • 2016-01-02 13:30:00
  • 6522

机器学习中的范数规则化之(二)核范数与规则项参数选择

机器学习中的范数规则化之(二)核范数与规则项参数选择zouxy09@qq.comhttp://blog.csdn.net/zouxy09        上一篇博文,我们聊到了L0,L1和L2范数,这篇...
  • zouxy09
  • zouxy09
  • 2014-05-04 12:42:15
  • 75416

几种常用的矩阵范数

按道理讲,这些东西应该熟记于心的。但是自己真心不喜欢记这种东西,看到一个总结不错的博客,转载过来以便于自己查看把!原文 1. 几种范数 矩阵 X∈Rm×nX∈Rm×n,σi(X)σi(...
  • jzwong
  • jzwong
  • 2017-05-04 16:27:15
  • 2382

超定方程 最小二乘解 奇异值分解(SVD)

1. SVD 任意矩阵A (mxn), 都能被奇异值分解为: 其中, U是mxm的正交矩阵, V是nxn的正交矩阵, Σr是由r个沿对角线从大到小排列的奇异值组成的方阵. r就是矩阵A的秩. ...
  • adventure2008
  • adventure2008
  • 2014-10-24 15:58:58
  • 5706

L0、L1、L2范数与核范数(二)

转自:http://blog.csdn.net/zouxy09/article/details/24972869 三、核范数        核范数||W||*是指矩阵奇异值的和,英文称呼叫...
  • u013066730
  • u013066730
  • 2016-04-13 19:00:36
  • 2853
收藏助手
不良信息举报
您举报文章:核范数最小二乘问题的唯一解析解(奇异值收缩算子可以给出)
举报原因:
原因补充:

(最多只允许输入30个字)