6.3正则化逼近
- 双准则式
- 正则化
- 例子
双准则式
目标是寻找向量x使其较小,而且使得残差Ax-b也较小。即
其中,两个范数分别在
上。
解释:
(1)估计解释:线性y=Ax+v,x是估计值,v是噪声,y是测量值,先验知识为x很小,目标就是在y=b的时候照的最好的估计值x。
(2)最优设计:x越小越偏析越高效,模型y=Ax只对较小的x有效。
(3)鲁棒性解释:目标函数为Ax-b,当A有误差e时,目标变成了(A+e)x-b=Ax-b+ex,x越小对结果造成的误差越小。
正则化
最常见的正则化的形式是极小化目标加权和,即,
。
或者,
。
Tikhonov正则化
这个正则化利用Euclid范数,得到一个二次凸优化问题。
此问题也等价于一个最小二乘问题:
<