Iterative Reweighted Least Squares

本文基于这篇paper。

逼近 （approximation）

对于线性的问题，其模型是：

$$Ax=b\\ \ \\ A\in \mathbb{R}^{n\times p}\\ x,b\in \mathbb{R}^p$$
如果 $b$不能存在于 $A$的列空间内(the space spanned by the columns of A)， $x$的解不唯一，那么将采用一种近似的方法。它通过最小化误差的范式来寻求解（to be solved by minimizing the norm）
$$e= Ax-b$$
常采用的是 $norm_2$或 $l_2$
$$||e||^2_2=\sum_ie^2_i=e^Te$$
对于 $l_2$,它的解分三种情况

• If N=p, (square and nonsingular), 存在严格解：
  $x=A^{-1}b$
• If N > p (over specified)：
  $A^TAx=A^Tb \to x = [A^TA]^{-1}A^Tb$
  $A^TA \in \mathbb{R}^{p\times p}$
• If N < p (under specified):
  $Ax=AA^T(AA^T)^{-1}b\to x = A^T[AA^T]^{-1}b$

加权最小二乘(weighted least squared error approximation)

$$W=\begin{bmatrix} w_1\ \ \ \ \ \ \ \ \ \ \ \ \\\ \ \ \ ... \ \ \\ \ \ \ \ \ \ \ \ \ \ \ \ w_p \end{bmatrix}_{p\times p}$$
W 是diagonal matrix。
$$||We||^2_2=e^TW^TWe\\ Error = (WAx-Wb)^T(WAx-Wb)\\ = x^TA^TW^TWAx-2b^TW^TWAx + b^TW^TWb\\ $$
$Error$是一个convex function, 其解是：

ax