【机器学习】Bregman分离算法推导

Bregman分离算法比Bregman迭代算法更简单、更有效。接上篇博客，我们可以构造优化模型$argmin{H(u)+J(u)}$来还原真实目标数据，一般理解为$H(u)$是我们的目标最小化模型，常用的有$H(u)=1/2(Au-Y)^2$，其中u是目标，Y是观测结果，A是导致观测结果与真实结果不一致的原因；J(u)一般是一个约束项，自从压缩感知火了之后，一般J(u)是一个L1模型，即一个绝对值函数，等价于要找一组u，使得u的表示最简单。整体表示为

$$argmin{|\Phi(u)|+H(u)}$$
$\Phi(u)$是表达式，其L1模型略难求解。一种技巧是建立约束优化模型： $$argmin{|d|+H(u)},s.t.d=\Phi(u) \\ \rightarrow argmin{|d|+H(u) - \lambda /2(d-\Phi(u))^2}$$
这里将约束变为L2项。是一个为了松弛变量做出的折中。原先复杂的 $\Phi(u)$被放入二次函数——一个简单的凸函数中，很好计算梯度了；而复杂的L1约束项约束了d。令 $J(u,d)=|d|+H(u)$，约束问题变为 $$argmin_{u,d}{J(u,d)+H(u)}$$ 我们引入二元Bregman散度，这样就可以使用Bregman迭代算法了。
$$(u^{k+1},d^{k+1})=argmin_{u,d}{D^p(u,u^{k},d,d^{k})+\lambda /2(d-\Phi(u))^2}\tag{1}$$ $$p^{k+1}_u=p^{k}_u-\frac{\partial J(u,d)}{\partial u}=p^{k}_u-\lambda \nabla \Phi (u^{k+1})^T (\Phi(u^{k+1})-d^{k+1})=-\lambda \sum_i{\nabla \Phi(\Phi(u^{i})-d^{i})} \tag{2}$$ $$p^{k+1}_d=p^{k}_d-\frac{\partial J(u,d)}{\partial d}=p^{k}_u-\lambda (d^{k+1}-\Phi(u^{k+1}))=-\lambda \sum_i{(d^{i}-\Phi(u^{i})} \tag{3}$$
令 $b^k=\sum_i{(\Phi(u^{i}-d^{i})}$，如果把 $\Phi$视作线性映射，那么有 $p^{k}_u=-\lambda \nabla \Phi^T b^k,p_d^k=\lambda b^k$。
现在来看u的优化公式,d固定当做常量， $u^k$也是常量。由(1)得到 $$u^{k+1}=argmin{J(u,d^k)-<p_u^k,u-u^k>+\lambda/2(d^k-\Phi(u))^2} \\ = argmin{J(u,d^k)-<-\lambda \nabla \Phi^T b^k,u-u^k>+\lambda/2(d^k-\Phi(u))^2} \\ = argmin{H(u)+\lambda \nabla \Phi^T (u-u^k)b^k+\lambda/2(d^k-\Phi(u))^2}+C$$
很多文献在这一步后面直接给出了结果， $\nabla \Phi$莫名其妙就消了，也没有推导，非常晦涩。这里我推测右边是用了泰勒展开式，其中 $R_{u_k}$是余项：
$$\nabla \Phi^T (u-u^k)b^k+1/2(d^k-\Phi(u))^2 \\ = b^k [\Phi(u^k)+\nabla\Phi^T(u-u^k)+R_{u_k}]+1/2(d^k-\Phi(u))^2+C_1 \\ = b^k\Phi(u)+b^kd^k+1/2(d^k-\Phi(u))^2+C_2 \\ = 1/2[(d^k-\Phi(u))^2-2b^k(d^k-\Phi(u))+(b^k)^2]+C_3 \\ = 1/2(d^k-\Phi(u)-b^k)^2+C_3$$
所以得到: $$u^{k+1}=argmin{H(u)+\lambda/2[d^k-\Phi(u)-b^k]^2}$$
同理得到： $$d^{k+1}=argmin{|d|+\lambda/2[d-\Phi(u^{k+1})-b^k]^2}$$ $$b^{k+1}=b^k+[\Phi(u^{k+1})-d^{k+1}]$$
如此迭代直到u收敛。
其中d的优化，由于表达式d只是一个变量，所以它的L1优化模型类比 $argmin{1/2(Ax-b)^2+|x|}$,这个已经有非常成熟的优化解法。