凸优化学习笔记6.1

第六章 逼近与拟合

6.1范数逼近

1）无约束问题

min ||Ax-b||

范数逼近问题的解有时又被称为Ax≈b在范数|| ||下的近似解

r = Ax - b 称这个问题的残差

逼近解释

通常将Ax表示为Ax = x1a1+x2a2+x3a3+...+xnan，其中a1，...an是A的列，可以看出，范数的逼近问题的目标是用A的列线性组合，尽可能地逼近或拟合向量b，其偏差由|| || 度量

这一逼近问题也称为回归问题，在此背景下，向量a1，....an为回归量，设x是问题的一个最优解，称向量x1a1+x2a2+...+xnan为b的回归

估计的解释

考虑线性测量模型  y=Ax+v

y为测量值向量，x为待估计的参数向量，v为未知的测量误差

相应的估计问题是在给定y的情况下对x是什么进行合理的猜测，对于x最有可能的猜测是

x_hat = argmin ||Az - y||

几何的解释

等价为一个向量在空间上的投影问题

设计的解释