一句话理解Bregman距离的含义

最新推荐文章于 2022-12-08 12:57:21 发布

jbb0523

最新推荐文章于 2022-12-08 12:57:21 发布

阅读量4.7k

点赞数 8

分类专栏：理论/笔记

本文链接：https://blog.csdn.net/jbb0523/article/details/109958158

版权

理论/笔记专栏收录该内容

25 篇文章 7 订阅

订阅专栏

题目：一句话记住Bregman距离

Bregman距离，又称Bregman散度(Bregman Divergence)，两个点 ${\bf x}$ 与 ${\bf x}_0$ 之间的Bregman距离定义如下：

$d_{f}({\bf x,x}_0) = f({\bf x}) - (f({\bf x}_0) + \left \langle \nabla f({\bf x}_0),{\bf x}-{\bf x}_0 \right \rangle)$

其中 $f(\cdot)$ 为某凸函数， $\nabla f(\cdot)$ 表示求导， $\left \langle \cdot,\cdot \right \rangle$ 表示求内积；可以看出Bregman不满足对称性。

回忆一下Taylor公式，可以看出 $f({\bf x}_0) + \left \langle \nabla f({\bf x}_0),{\bf x}-{\bf x}_0 \right \rangle$ 实际上是函数 $f(\bf x)$ 的一阶Taylor近似，因此用一句话概括就是：【 ${\bf x}$ 与 ${\bf x}_0$ 之间的Bregman距离 $d_{f}({\bf x,x}_0)$ 实际上可以理解为函数 $f(\bf x)$ 与其一阶Taylor近似之差】，这句话应该可以让人很快记住Bregman距离，虽然其未必能完全表达出Bregman距离的含义和本质。

特别地，若 $f(\bf x) = \left \| {\bf x} \right \|^2$ ，代入以上定义可得：

$d_{f}({\bf x,x}_0) = \left \| {\bf x} \right \|^2 - ( \left \| {\bf x}_0 \right \|^2 + \left \langle 2{\bf x}_0 , {\bf x}-{\bf x}_0 \right \rangle) = \left \| {\bf x} - {\bf x}_0 \right \|^2$

也就是欧氏距离的平方。

本文整理自如下参考文献的高赞回答~

【参考文献】知乎-如何理解Bregman divergence？

链接： https://www.zhihu.com/question/22426561/answer/209945856

jbb0523

关注

8
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
一句话理解Bregman距离的含义

题目：一句话记住Bregman距离Bregman距离，又称Bregman散度(Bregman Divergence)，两个点与之间的Bregman距离定义如下：其中为某凸函数，表示求导，表示求内积；可以看出Bregman不满足对称性。回忆一下Taylor公式，可以看出实际上是函数的一阶Taylor近似，因此用一句话概括就是：【与之间的Bregman距离实际上可以理解为函数与其一阶Taylor近似之差】。...
复制链接

扫一扫