Bregman Divergence

Bregman Divergence

翻译自 Bregman Divergence and Mirror Descent

动机

• 将欧几里得距离的平方概括为一类距离，这些距离都具有相似的性质。
• 在机器学习、聚类、指数族等方面有很多应用。

定义1（Bregman divergence） 函数$\psi :\Omega \to \mathbb{R}$满足：
a). 严凸
b). 连续可微
c). 定义在一个封闭的凸集$\Omega$上。
那么Bregman散度可以定义为：
$${\text{Div}}_{\psi }(x,y)=\psi (x)-\psi (y)-⟨\nabla \psi (y),x-y⟩.\text{\hspace{1em}(1)}$$
即为$\psi$在$x$处的值与$\psi$在$y$周围的一阶泰勒展开式取$x$的值之间的差。

函数名	$\psi (x)$	函数定义域	${\text{Div}}_{\psi }(x,y)$
Squared norm	$\frac{1}{2}{x}^2$	$(-\infty ,+\infty )$	$\frac{1}{2}(x-y{)}^2$
Shannon entropy	$x\log x-x$	$[0,+\infty )$	$x\log \frac{x}{y}-x+y$
Bit entropy	$x\log x+(1-x)\log (1-x)$	$[0,1]$	$x\log \frac{x}{y}+(1-x)\log \frac{(1-x)}{(1-y)}$
Burg entropy	$-\log x$	$(0,+\infty )$	$\frac{x}{y}-\log \frac{x}{y}-1$
Hellinger	$-\sqrt{1-x^2}$	$[-1,1]$	$(1-xy)(1-y^2{)}^{-\frac{1}{2}}-(1-x^2{)}^{\frac{1}{2}}$
$l_p$ quasi-norm	$-x^p(0<p<1)$	$[0,+\infty )$	$-x^p+px{y}^{p-1}-(p-1)y^p$
$l_p$ norm	$-|x{|}^p(1<p<\infty )$	$(-\infty ,+\infty )$	$|x{|}^p-px{y}^{p-1}\text{sgn}(y)+(p-1)|y{|}^p$
Exponential	$\exp (x)$	$(-\infty ,+\infty )$	$\exp (x)-\left(x-y+1\right)\exp (y)$
Hellinger	$\frac{1}{x}$	$(0,+\infty )$	$\frac{1}{x}+\frac{x}{y^2}-\frac{2}{y}$

例子

• 欧式距离。令$\psi (x)=\frac{1}{2}\Vert x{\Vert }^2$，则${\text{Div}}_{\psi }(x,y)=\frac{1}{2}\Vert x-y{\Vert }^2$。
• Ω = { x ∈ R + n : ∑ i x i = 1 } \Omega = \{ x \in \reals_{+}^{n} : \sum_{i} x_i = 1 \} Ω={x∈R+n​:∑i​xi​=1}，且$\psi (x)={\sum }_i{x}_i\log x_i$。那么${\text{Div}}_{\psi }(x,y)={\sum }_i{x}_i\log \frac{x_i}{y_i},x,y\in \Omega$。这就是所谓的相对熵，或概率分布$x$和$y$之间的Kullback-Leibler散度。
• $l_p$范式。令$p\ge 1$且$\frac{1}{p}+\frac{1}{q}=1$，$\psi (x)=\frac{1}{2}\Vert x{\Vert }_q^2$。那么${\text{Div}}_{\psi }(x,y)=\frac{1}{2}\Vert x{\Vert }_q^2+\frac{1}{2}\Vert y{\Vert }_q^2-⟨x,\nabla \frac{1}{2}\Vert y{\Vert }_q^2⟩$。注意$\frac{1}{2}\Vert y{\Vert }_q^2$不一定是可连续微分的，这就使得这种情况与我们的定义不完全一致。

Properties of Bregman divergence

1. Bregman散度${\text{Div}}_{\psi }(x,y)$关于第一个变量$x$是严格凸函数，那么函数$\psi$的严格凸性并不重要。

原文： Strict convexity in the first argument $x$. Trivial by the strict convexity of $\psi$.

2. 非负性。$\forall x,y$，有${\text{Div}}_{\psi }(x,y)\ge 0$，等号当且仅当$x=y$时取得。不要求严格凸亦成立（Trivial by strict convexity.）。

3. 非对称性。一般情况下${\text{Div}}_{\psi }(x,y)\ne {\text{Div}}_{\psi }(y,x)$，例如KL散度。对称性并不是一直有用。

4. 关于第二变量$y$非凸。令$\Omega =[1,\infty ),\psi (x)=-\log x$。那么${\text{Div}}_{\psi }(x,y)=-\log x+\log y+\frac{x-y}{y}$。计算其关于$y$的二阶偏导为$\frac{1}{y^2}(\frac{2x}{y}-1)$，当$2x<y$时为负。

5. 关于$\psi$的线性。对于任意$a>0$，有${\text{Div}}_{\psi +a\varphi }(x,y)={\text{Div}}_{\psi }(x,y)+a{\text{Div}}_{\varphi }(x,y)$。

6. 关于$x$的梯度。$\frac{\partial }{\partial x}{\text{Div}}_{\psi }(x,y)=\nabla \psi (x)-\nabla \psi (y)$。关于$y$的梯度比较棘手，不常用。

7. 广义三角形不等式：
$$\begin{array}{rl}{\text{Div}}_{\psi }(x,y)+{\text{Div}}_{\psi }(y,z)& =\psi (x)-\psi (y)-⟨\nabla \psi (y),x-y⟩+\psi (y)-\psi (z)-⟨\nabla \psi (z),y-z⟩\\ & ={\text{Div}}_{\psi }(x,z)+⟨x-y,\nabla \psi (z)-\nabla \psi (y)⟩.\end{array}\text{\hspace{1em}(2)}$$

8. 特例，如果$\psi$对于某些范式和模数$\sigma$满足：
$$\psi (x)\ge \psi (y)+⟨\nabla \psi (y),x-y⟩+\frac{\sigma }{2}\Vert x-y{\Vert }^2.\text{\hspace{1em}(3)}$$
则称$\psi$是$\sigma$-强凸函数。需要注意的是，并不需要是欧几里得范式。如果是欧式范式，那么上式条件等价于$\psi (x)-\frac{\sigma }{2}\Vert x{\Vert }^2$是凸函数。比如，KL散度中的$\psi (x)={\sum }_i{x}_i$是在 Ω = { x ∈ R + n : ∑ i x i = 1 } \Omega = \{ x \in \reals_{+}^{n} : \sum_{i} x_i = 1 \} Ω={x∈R+n​:∑i​xi​=1}上$l_1$范式下的1-强凸函数。当$\psi$是$\sigma$-强凸函数，有：
$${\text{Div}}_{\psi }(x,y)\ge \frac{\sigma }{2}\Vert x-y{\Vert }^2.\text{\hspace{1em}(4)}$$

证明： 根据定义有${\text{Div}}_{\psi }(x,y)=\psi (x)-\psi (y)-⟨\nabla \psi (y),x-y⟩\ge \frac{\sigma }{2}\Vert x-y{\Vert }^2$。

9. 对偶性。假设$\psi$是强凸函数，那么
$$(\nabla {\psi }^{\ast })\nabla \psi (x)=x,{\text{Div}}_{\psi }(x,y)={\text{Div}}_{{\psi }^{\ast }}(\nabla \psi (y),\nabla \psi (x)).\text{\hspace{1em}(5)}$$
证明： 先证第一个等式。根据：
ψ ∗ ( y ) = sup ⁡ z ∈ Ω { < z , y > − ψ ( z ) } . (6) \psi^{*}(y) = \sup_{z \in \Omega} \{ \left< z, y \right> - \psi (z) \}. \tag{6} ψ∗(y)=z∈Ωsup​{⟨z,y⟩−ψ(z)}.(6)
$\sup$是可以实现的，因为$\psi$是强凸的，且定义域$\Omega$是闭集。如果在$x$处取得最大值，当且仅当$y=\nabla \psi (x)$（令$\frac{\partial }{\partial z}\left(⟨z,y⟩-\psi (z)\right)=y-\nabla \psi (z)=0$即得）。因此
$${\psi }^{\ast }(y)+\psi (y)=⟨x,y⟩\iff y=\nabla \psi (x).\text{\hspace{1em}(7)}$$
因为$\psi ={\psi }^{\ast \ast }$，因此${\psi }^{\ast }(y)+{\psi }^{\ast \ast }(y)=⟨x,y⟩$，也就是说
ψ ∗ ∗ ( y ) = sup ⁡ z ∈ Ω { < z , y > − ψ ∗ ( z ) } (8) \psi^{**}(y) = \sup_{z \in \Omega} \{ \left< z, y \right> - \psi^{*} (z) \} \tag{8} ψ∗∗(y)=z∈Ωsup​{⟨z,y⟩−ψ∗(z)}(8)
在$y$处取得最大值，即$x={\nabla }^{\ast }\psi (y)$。因此$(\nabla {\psi }^{\ast })(\nabla \psi (x))=\nabla {\psi }^{\ast }(y)=x$，证毕。

再证第二等式。根据式(6)有 ψ ∗ ( ∇ ψ ( y ) ) = sup ⁡ z ∈ Ω { < z , ∇ ψ ( y ) > − ψ ( z ) } \psi^{*}( \nabla \psi (y) ) = \sup_{z \in \Omega} \{ \left< z, \nabla \psi (y) \right> - \psi (z) \} ψ∗(∇ψ(y))=supz∈Ω​{⟨z,∇ψ(y)⟩−ψ(z)}，同样的，令$\frac{\partial }{\partial z}\left(⟨z,\nabla \psi (y)⟩-\psi (z)\right)=0$，得到${\psi }^{\ast }(\nabla \psi (y))=⟨y,\nabla \psi (y)⟩-\psi (y)$。同理有${\psi }^{\ast }(\nabla \psi (x))=⟨x,\nabla \psi (x)⟩-\psi (x)$。那么
$$\begin{array}{rl}{\text{Div}}_{{\psi }^{\ast }}(\nabla \psi (y),\nabla \psi (x))& ={\psi }^{\ast }(\nabla \psi (y))-{\psi }^{\ast }(\nabla \psi (x))-⟨\nabla {\psi }^{\ast }(\nabla \psi (x)),\nabla \psi (y)-\nabla \psi (x)⟩\\ & =⟨y,\nabla \psi (y)⟩-\psi (y)-⟨x,\nabla \psi (x)⟩+\psi (x)-⟨x,\nabla \psi (y)-\nabla \psi (x)⟩\\ & =⟨y,\nabla \psi (y)⟩-\psi (y)-⟨x,\nabla \psi (x)⟩+\psi (x)-⟨x,\nabla \psi (y)⟩+⟨x,\nabla \psi (x)⟩\\ & =\psi (x)-\psi (y)-⟨x-y,\nabla \psi (y)⟩\\ & ={\text{Div}}_{\psi }(x,y).\end{array}\text{\hspace{1em}(9)}$$

10. 分布的平均值。假设$U$是开集$S$服从$\mu$分布的随机变量，那么
$$\underset{x\in S}{\min }{\mathbb{E}}_{U\sim \mu }\left[{\text{Div}}_{\psi }(U,x)\right].\text{\hspace{1em}(10)}$$
在$\bar{\mu }:={\mathbb{E}}_{\mu }={\int }_{u\in S}u\mu (u)$处取得最小值。

证明： 对于任意的$x\in S$，都有：
$$\begin{array}{rl}& {\mathbb{E}}_{U\sim \mu }\left[{\text{Div}}_{\psi }(U,x)\right]-{\mathbb{E}}_{U\sim \mu }\left[{\text{Div}}_{\psi }(U,\bar{\mu })\right]\\ =& {\mathbb{E}}_{U\sim \mu }\left[\psi (U)-\psi (x)-⟨\nabla \psi (x),U-x⟩-\psi (U)+\psi (\bar{\mu })+⟨\nabla \psi (\bar{\mu }),U-\bar{\mu }⟩\right]\\ =& \psi (\bar{\mu })-\psi (x)+x^T\nabla \psi (x)-{\bar{\mu }}^T\nabla \psi (\bar{\mu })+{\mathbb{E}}_{U\sim \mu }\left[-U^T\nabla \psi (x)+U^T\nabla \psi (\bar{\mu })\right]\\ =& \psi (\bar{\mu })-\psi (x)-(\bar{\mu }-x{)}^T\nabla \psi (x)+{\bar{\mu }}^T\nabla \psi (x)-{\bar{\mu }}^T\nabla \psi (\bar{\mu })\\ & -({\mathbb{E}}_{U\sim \mu }\left[U\right]{)}^T\nabla \psi (x)+({\mathbb{E}}_{U\sim \mu }\left[U\right]{)}^T\nabla \psi (\bar{\mu })\\ =& \psi (\bar{\mu })-\psi (x)-(\bar{\mu }-x{)}^T\nabla \psi (x)\\ =& {\text{Div}}_{\psi }(\bar{\mu },x).\end{array}\text{\hspace{1em}(11)}$$
上式是非负的，当且仅当$x=\bar{\mu }$时为0。

11. 毕达哥拉斯定理（三点定理）。如果$x^{\ast }$是$x_0$在凸集$C\in \Omega$的投影：
$$x^{\ast }=\underset{x\in C}{\mathrm{argmin}}{\text{Div}}_{\psi }(x,x_0).\text{\hspace{1em}(12)}$$
那么
$${\text{Div}}_{\psi }(y,x_0)\ge {\text{Div}}_{\psi }(y,x^{\ast })+{\text{Div}}_{\psi }(x^{\ast },x_0).\text{\hspace{1em}(13)}$$
如果是欧式的情况下，上式的意味着$\angle y{x}^{\ast }{x}_0$是钝角。更为一般的情况，为引理1。

引理1： 假设$L$是一个合适的函数(proper convex function)，其定义域是一个包含$C$的开集。$L$不一定是可微的。令$x^{\ast }$为：
x ∗ = arg min ⁡ x ∈ C { L ( x ) + Div ψ ( x , x 0 ) } . (14) x^{*} = \argmin_{x \in C} \{ L(x) + \text{Div}_{\psi} (x, x_0) \}. \tag{14} x∗=x∈Cargmin​{L(x)+Divψ​(x,x0​)}.(14)
那么对于任意的$y\in C$,有
$$L(y)+{\text{Div}}_{\psi }(y,x_0)\ge L(x^{\ast })+{\text{Div}}_{\psi }(x^{\ast },x_0)+{\text{Div}}_{\psi }(y,x^{\ast }).\text{\hspace{1em}(15)}$$
式(12)是$L=0$的特殊情况。这个性质是分析Bregman散度相关优化算法的关键。

证明： 记$J(x)=L(x)+{\text{Div}}_{\psi }(x,x_0)$，因为$x^{\ast }$是$J$在$C$上的极小值点，因此存在次梯度(subgradient)$d\in \partial J(x^{\ast })$（这里使用次梯度是因为$L$不一定可微），使得
$$⟨d,x-x^{\ast }⟩\ge 0,x\in C.\text{\hspace{1em}(16)}$$

因为
∂ J ( x ∗ ) = { g + ∇ x = x ∗ Div ψ ( x , x 0 ) : g ∈ ∂ L ( x ∗ ) } = { g + ∇ ψ ( x ∗ ) − ∇ ψ ( x 0 ) : g ∈ ∂ L ( x ∗ ) } . (17) \begin{aligned} \partial J(x^{*}) &= \{ g + \nabla_{x = x^{*}} \text{Div}_{\psi} (x, x_0) : g \in \partial L(x^{*})\} \\ &= \{ g + \nabla \psi (x^{*}) - \nabla \psi (x_0) : g \in \partial L(x^{*})\}. \end{aligned} \tag{17} ∂J(x∗)​={g+∇x=x∗​Divψ​(x,x0​):g∈∂L(x∗)}={g+∇ψ(x∗)−∇ψ(x0​):g∈∂L(x∗)}.​(17)
因此，必然存在一个次梯度$g\in \partial L(x^{\ast })$使得：
$$⟨g+\nabla \psi (x^{\ast })-\nabla \psi (x_0),x-x^{\ast }⟩\ge 0,x\in C.\text{\hspace{1em}(18)}$$

对于任意的$y\in C$，根据次梯度的性质有：
$$\begin{array}{rl}L(y)\stackrel{次梯度性质}{\ge }& L(x^{\ast })+⟨g,y-x^{\ast }⟩\\ \stackrel{式(18)}{\ge }& L(x^{\ast })+⟨\nabla \psi (x_0)-\nabla \psi (x^{\ast }),y-x^{\ast }⟩\\ \stackrel{分凑项}{=}& L(x^{\ast })-⟨\nabla \psi (x_0),x^{\ast }-x_0⟩+\psi (x^{\ast })-\psi (x_0)\\ & +⟨\nabla \psi (x_0),y-x_0⟩-\psi (y)+\psi (x_0)\\ & -⟨\nabla \psi (x^{\ast }),y-x^{\ast }⟩+\psi (y)-\psi (x^{\ast })\\ =& L(x^{\ast })+{\text{Div}}_{\psi }(x^{\ast },x_0)-{\text{Div}}_{\psi }(y,x_0)+{\text{Div}}_{\psi }(y,x^{\ast }).\end{array}\text{\hspace{1em}(19)}$$
将${\text{Div}}_{\psi }(y,x_0)$移动到不等式左边，完成证明。