关于凸优化的bregman算法

1.

主要用作L1范数的优化问题，比如TV降噪和压缩感知问题。

2. 主要求解方式

Bregman距离

点u和v之间的Bregman距离定义如下：

J：X->R， 凸函数。
。。所以 p 是 J 在 u 点的一个次梯度。
凸函数两个点u，v之间的Bregman距离：等于其函数值之差，再减去其次梯度点p与自变量之差的内积。

要解决的问题：求u(最小化)

Bregman迭代算法可以高效的求解下面的泛函的最小值问题。

J：X->R， 凸函数，非负。u∈X。
H：X->R， 凸函数，非负。u∈X，f 是已知常数（通常是一个观察得到的图像数据，是矩阵或向量）。
X：作用域，是凸集也是闭集。

Bregman迭代算法

线性Bregman迭代算法推导

首先，利用矩阵的泰勒公式，将公式

中的 H(u) 线性展开，得到：

但是这种近似展开只有在u和uk十分接近的时候上式才准确。因此，把泰勒公式中的二次项加上，则原来的问题就变成了：

可以看到，二次项可以使 u 和 uk 很靠近。