定义
设 F: Ω→R 是一定义在闭凸集 Ω 上的连续可微的实值严格凸函数。
为关于函数 F 的 Bregman 散度,当且仅当
亦可写作
其中
L(p) 表示函数 F 在 q 点的切平面方程。
Bregman 散度就是一个函数与该函数的线性近似之间的差。
性质
1. 非负
2. 凸性 是关于其第一个参数 p 的凸函数。
3. 线性算子
例子
1.
2.
3. 泛化的 KL(Kullback-Leibler) 散度,
在 时
参考
[1] http://en.wikipedia.org/wiki/Bregman_divergence.