（常用的求解式子）
求解
arg
min
x
∥
A
x
−
b
∥
2
2
+
w
∥
x
∥
2
2
\arg\min_x \| Ax - b \|^2_2 + w \|x\|^2_2
argxmin∥Ax−b∥22+w∥x∥22
其中w为控制系数，x的维度设为 n
两种理解
方法一
直接对x求导等于0可得
(
A
T
A
+
w
∗
eye
(
n
)
)
x
=
A
T
b
(A^TA+w*\text{eye}(n)) x = A^Tb
(ATA+w∗eye(n))x=ATb
由于x之前的矩阵正定，直接求逆，或者SVD等求解x即可
方法二
看做两项
A
x
−
b
Ax-b
Ax−b 与
eye
(
n
)
x
−
0
\text{eye}(n)x-0
eye(n)x−0
这样
A
′
=
[
A
,
w
eye
(
n
)
]
A'=[A, w \text{eye}(n)]
A′=[A,weye(n)]
b
′
=
[
b
,
w
0
]
b'=[b, w \mathbf{0}]
b′=[b,w0]
上述 方括号表示拼接，这里为竖直拼接
所以最终求解为
A
′
x
=
b
′
A'x=b'
A′x=b′
注意此时A’不是正定矩阵，该式的最小二乘解为
A
′
T
A
′
x
=
A
′
T
b
′
A'^TA'x=A'^Tb'
A′TA′x=A′Tb′
利用块矩阵乘法分析，可以发现该结果正好是方法一的结果。
3715
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
