Bregman距离

Bregman距离

两个点 x {\bf x} x x 0 {\bf x}_0 x0之间的Bregman距离定义如下:
d f ( x , x 0 ) = f ( x ) − ( f ( x 0 ) + ⟨ ∇ f ( x 0 ) , x − x 0 ⟩ ) d_f({\bf x,x}_0)=f({\bf x})-(f({\bf x}_0)+\langle\nabla f({\bf x}_0),{\bf x}-{\bf x}_0\rangle) df(x,x0)=f(x)(f(x0)+f(x0),xx0)
其中 f ( ⋅ ) f(\cdot) f()为某凸函数, ∇ f ( ⋅ ) \nabla f(\cdot) f()表示求导, ⟨ ⋅ , ⋅ ⟩ \langle\cdot,\cdot\rangle ,表示求内积。
注意:这个距离不满足对称性,这和一般的泛函分析中距离定义是不一样的。
  可以看出, f ( x 0 ) + ⟨ ∇ f ( x 0 ) , x − x 0 ⟩ f({\bf x}_0)+\langle\nabla f({\bf x}_0),{\bf x}-{\bf x}_0\rangle f(x0)+f(x0),xx0实际上是函数 f ( x ) f(\bf x) f(x)一阶Taylor近似,因此用一句话概括就是: 【 x 与 x 0 之 间 的 B r e g m a n 距 离 d f ( x , x 0 ) 实 际 上 可 以 理 解 为 函 数 f ( x ) 与 其 一 阶 T a y l o r 近 似 之 差 】 \textcolor{Red}{【{\bf x}与{\bf x}_0之间的Bregman距离d_f({\bf x,x}_0)实际上可以理解为函数f({\bf x})与其一阶Taylor近似之差】} xx0Bregmandf(x,x0)f(x)Taylor。这句话应该可以让人很快记住Bregman距离,虽然其未必能完全表达出Bregman距离的含义和本质。

特别地,若 f ( x ) = ∥ x ∥ 2 f({\bf x})=\lVert{\bf x}\rVert^2 f(x)=x2,代入以上定义可得:
d f ( x , x 0 ) = ∥ x ∥ 2 − ( ∥ x 0 ∥ 2 + ⟨ 2 x 0 , x − x 0 ⟩ ) = ∥ x − x 0 ∥ 2 d_f({\bf x,x}_0)=\lVert{\bf x}\rVert^2-(\lVert{\bf x}_0\rVert^2+\langle2{\bf x}_0,{\bf x}-{\bf x}_0\rangle)=\lVert{\bf x}-{\bf x}_0\rVert^2 df(x,x0)=x2(x02+2x0,xx0)=xx02
也就是欧氏距离的平方

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值