求解 || Ax -b || + w || x ||

(常用的求解式子)

求解
arg ⁡ min ⁡ x ∥ A x − b ∥ 2 2 + w ∥ x ∥ 2 2 \arg\min_x \| Ax - b \|^2_2 + w \|x\|^2_2 argxminAxb22+wx22
其中w为控制系数,x的维度设为 n
两种理解

方法一

直接对x求导等于0可得
( A T A + w ∗ eye ( n ) ) x = A T b (A^TA+w*\text{eye}(n)) x = A^Tb (ATA+weye(n))x=ATb
由于x之前的矩阵正定,直接求逆,或者SVD等求解x即可

方法二

看做两项
A x − b Ax-b Axb eye ( n ) x − 0 \text{eye}(n)x-0 eye(n)x0
这样
A ′ = [ A , w eye ( n ) ] A'=[A, w \text{eye}(n)] A=[A,weye(n)]
b ′ = [ b , w 0 ] b'=[b, w \mathbf{0}] b=[b,w0]
上述 方括号表示拼接,这里为竖直拼接
所以最终求解为
A ′ x = b ′ A'x=b' Ax=b
注意此时A’不是正定矩阵,该式的最小二乘解为
A ′ T A ′ x = A ′ T b ′ A'^TA'x=A'^Tb' ATAx=ATb
利用块矩阵乘法分析,可以发现该结果正好是方法一的结果。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值