Bregman距离
两个点
x
{\bf x}
x与
x
0
{\bf x}_0
x0之间的Bregman距离定义如下:
d
f
(
x
,
x
0
)
=
f
(
x
)
−
(
f
(
x
0
)
+
⟨
∇
f
(
x
0
)
,
x
−
x
0
⟩
)
d_f({\bf x,x}_0)=f({\bf x})-(f({\bf x}_0)+\langle\nabla f({\bf x}_0),{\bf x}-{\bf x}_0\rangle)
df(x,x0)=f(x)−(f(x0)+⟨∇f(x0),x−x0⟩)
其中
f
(
⋅
)
f(\cdot)
f(⋅)为某凸函数,
∇
f
(
⋅
)
\nabla f(\cdot)
∇f(⋅)表示求导,
⟨
⋅
,
⋅
⟩
\langle\cdot,\cdot\rangle
⟨⋅,⋅⟩表示求内积。
注意:这个距离不满足对称性,这和一般的泛函分析中距离定义是不一样的。
可以看出,
f
(
x
0
)
+
⟨
∇
f
(
x
0
)
,
x
−
x
0
⟩
f({\bf x}_0)+\langle\nabla f({\bf x}_0),{\bf x}-{\bf x}_0\rangle
f(x0)+⟨∇f(x0),x−x0⟩实际上是函数
f
(
x
)
f(\bf x)
f(x)的一阶Taylor近似
,因此用一句话概括就是:
【
x
与
x
0
之
间
的
B
r
e
g
m
a
n
距
离
d
f
(
x
,
x
0
)
实
际
上
可
以
理
解
为
函
数
f
(
x
)
与
其
一
阶
T
a
y
l
o
r
近
似
之
差
】
\textcolor{Red}{【{\bf x}与{\bf x}_0之间的Bregman距离d_f({\bf x,x}_0)实际上可以理解为函数f({\bf x})与其一阶Taylor近似之差】}
【x与x0之间的Bregman距离df(x,x0)实际上可以理解为函数f(x)与其一阶Taylor近似之差】。这句话应该可以让人很快记住Bregman距离,虽然其未必能完全表达出Bregman距离的含义和本质。
特别地,若
f
(
x
)
=
∥
x
∥
2
f({\bf x})=\lVert{\bf x}\rVert^2
f(x)=∥x∥2,代入以上定义可得:
d
f
(
x
,
x
0
)
=
∥
x
∥
2
−
(
∥
x
0
∥
2
+
⟨
2
x
0
,
x
−
x
0
⟩
)
=
∥
x
−
x
0
∥
2
d_f({\bf x,x}_0)=\lVert{\bf x}\rVert^2-(\lVert{\bf x}_0\rVert^2+\langle2{\bf x}_0,{\bf x}-{\bf x}_0\rangle)=\lVert{\bf x}-{\bf x}_0\rVert^2
df(x,x0)=∥x∥2−(∥x0∥2+⟨2x0,x−x0⟩)=∥x−x0∥2
也就是欧氏距离的平方。