Lp范数优化问题-迭代权重最小二乘算法

迭代权重最小二乘(Iteratively reweighted least squares, IRLS) [1] 方法用于求解\(p\)范数(\(p\) norm)的最小化问题。问题如下：
\[\arg \min_{x} \sum_{i} | y_i - f_i (x) |^p\]
通过迭代的方法，在每次迭代我们都在解决一个加权的最小二乘问题：
\[ x^{t+1} = \arg \min_{x} ~ \sum_{i} w_i(x^t) | y_i - f_i (x^t) |^2 \]
此时，我们能够将原始的\(p\) norm问题转化为2-norm的问题。同时我们此时引入了一个随着迭代次数而改变的变量\(w_i(x^t)\)。一般地，我们定义\(t\) step的权重与\(t\) step的误差，即\(| y_i - f_i(x^t) |^p\)有关。我们首先初始化变量\(w_i^{t}\)为：
\[ w_i^{0} = 1\]
即\(W\)矩阵的对角元