KL散度,JS散度,余弦距离,欧式距离

散度:量化两种概率分布P和Q之间差异的方式;相当于衡量两个函数之间的关系
GAN是最小化JS散度
VAE是最小化KL散度
KL散度(不对称):设p为随机变量X的概率分布,即p(x)为随机变量X在X=x处的概率密度函数值。两个概率分布p和q的KL散度(Kullback–Leibler divergence)也称为相对熵,用于刻画概率分布q拟合概率分布p的程度。
在这里插入图片描述
JS散度(对称):
在这里插入图片描述

距离:两个特征向量之间的相似性(衡量两个常量之间的关系)
余弦相似度
余弦距离:体现方向上的相对差异
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190628112524915.png)1-cos(A,B)
欧氏距离:体现数值上的绝对差异
应用场景:统计两部剧的用户观看行为,用户 A 的观看向量为(0, l ),用户 B 为( 1 ,0);,此时二者的余弦距离很大, 而欧氏距离很小, 我们分析两个用户对于不同视频的偏好更关注相对差异,显然应当使用余弦 。 而当我们分析用户活跃度以登陆次数(单位:次)和平均观看时长(单位:分钟)作为特征时,余弦距离会认为( l, l 0)、 (10,100)两个用户距离很近,但显然这两个用户活跃度是有着极大差异的此时我们更关注数值绝对差异,应当使用欧氏距离 。两者的关系:
在这里插入图片描述
在这里插入图片描述

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值