KL散度

最新推荐文章于 2024-04-09 23:40:28 发布
最新推荐文章于 2024-04-09 23:40:28 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 车牌识别 深度学习理论 文章标签： KL散度 相对熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_daxia/article/details/109473547
版权
车牌识别 同时被 2 个专栏收录
45 篇文章 55 订阅 ¥19.90 ¥99.00
订阅专栏
深度学习理论
45 篇文章 4 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看

基础

https://www.jiqizhixin.com/articles/2018-05-29-2

蒸馏中的logits常用loss

KL散度也叫相对熵。可以理解为，q分布相对p分布的差异。

可以理解为相对距离。

参考：https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5

和交叉熵的关系

如何通俗的解释交叉熵与相对熵？ - Peiwen的回答 - 知乎 https://www.zhihu.com/question/41252833/answer/195901726

torch实现

https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html

demo

from torch import nn
import torch.nn.functional as F
im

了解本专栏 订阅专栏 解锁全文
yang_daxia
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
[nlp] KL散度与JS散度
01-07
1.KL散度 KL散度( Kullback–Leibler divergence) (最大类间散度) 是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。 KL散度的性质：P：真实分布，Q：P的拟合分布 非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0； 反身性：KL(P||P)=0 非对称性：D(P||Q) ≠ D(Q||P) KL散度不满足三角不等式 from scipy import stats P = [0.2, 0.4, 0.4] Q = [0.4, 0.2, 0.5] print(stats.entropy(P,Q)) 0.144
详解知识蒸馏原理和代码
qq_43456497的博客
05-24 2195
知识蒸馏是一种模型压缩的有效解决方案；总的来说，学生模型通过蒸馏训练来获取教师知识，小模型学习到了大模型的泛化能力，保留了大模型的性能，同时降低了模型的大小和复杂性，模型更轻量易于部署。
使用Pytorch实现KL散度
最新发布
weixin_52250664的博客
04-09 1045
Kullback-Leibler（KL）散度是衡量两个概率分布之间差异的一种方法。对于离散型随机变量，KL散度定义为一个分布相对于另一个分布的期望信息增益。
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
ykn37的博客
03-27 1255
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
一文全览 | 知识蒸馏算法汇总
小白学视觉
03-06 181
作者|AI浩 编辑| 小书童原文链接：https://zhuanlan.zhihu.com/p/583273832点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达知识蒸馏有两大类：一类是「logits蒸馏」，另一类是「特征蒸馏」。「logits蒸馏」指的是在softmax时使用较高的温度系数，提升负标签的信息，然后使用Student和Teacher在高温softmax...
知识蒸馏学习
akaweige的博客
07-03 4166
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
知识蒸馏问题总结
wzw147的博客
08-12 1982
一、模型蒸馏原理 一般较深的复杂的模型往往会有较好的结果（例如Bert预训练模型），但是有时候为了控制时间及硬件成本，我们不得不选择较小的模型，那如何让小的模型逼近复杂的模型，则是通过模型蒸馏的方式实现。 通俗的讲，就是学生模型产生一个output1和loss1，teacher模型产生一个output2，取output1和output2的KL散度loss2（度量两个output的差）做为loss项之一。 Loss=loss1+loss2 二、代码实现 参考了下https:/...
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
Roaddd的博客
02-24 1万+
知识蒸馏综述
知识蒸馏之自蒸馏
热门推荐
qq_35561971的博客
03-03 2万+
Attention Distillation@TOC Attention Distillation in CVPR\AAAI (from 2021 to 2022) 本文整理了AAAI2021/AAAI2022/CVPR2021中的注意力蒸馏类文章（强调feature-based knowledge distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。 背景知识-注意力蒸馏 1.定义：注意力蒸馏 （Attention distillation）：用于把大网
知识蒸馏综述笔记
qq_68308828的博客
02-21 930
知识蒸馏中文综述笔记
知识蒸馏---学习笔记
weixin_43391596的博客
02-06 656
知识蒸馏---学习笔记整理
两个多元高斯分布之间的KL散度：有效计算两个多元高斯分布之间的Kullback-Leibler散度的函数。-matlab开发
05-28
例子： 1）计算两个单变量高斯之间的KL散度：KL（N（-1,1）|| N（+1,1）） mu1 = -1; mu = +1; s1 = 1； s2 = 1； mvgkl（mu1，s1 ^ 2，mu2，s2 ^ 2） 2）计算两个二元高斯变量之间的KL散度：KL（N（mu1，S1）|| N...
04.02_02_多维高斯分布的KL散度.pdf
09-18
04.02_02_多维高斯分布的KL散度.pdf
KL散度计算【matlab代码】
06-08
- 输入2个变量，即可计算出2个变量之间的KL散度 - 并且绘制了2个变量各自的变量样本图和概率密度分布图 - 注释完整
klkmeans:KL散度的K-Means实现（而不是平方欧几里德距离）
05-23
klkmeans KL散度的K-Means实现（而不是平方欧几里德距离） 看： 了解为什么这行得通。 稍后将添加更好的描述。
知识蒸馏：从神经网络中蒸馏知识 Distilling the Knowledge in a Neural Network
Cai_deLong的博客
12-14 3669
1.原理介绍 Hinton的文章《Distilling the Knowledge in a Neural Network》首次提出了知识蒸馏的概念，通过引入教师网络用以诱导学生网络的训练，实现知识迁移。所以其本质上和迁移学习有点像，但实现方式是不一样的。用“蒸馏”这个词来形容这个过程是相当形象的。用下图来解释这个过程。 教师网络：大规模，参数量大的复杂网络模型。难以应用到设备端的模型。 学生网络：小规模，参数量小的精简网络模型。可应用到设备端的模型，俗称可落地模型。...
知识蒸馏学习笔记-manifold-distillation
m0_56569131的博客
01-25 1047
现在，我们希望通过训练一个较小的学生网络，使得学生网络也能输出类似的概率分布。这种蒸馏的过程有助于提高学生网络的性能，尤其是在资源受限的情况下，通过借助大模型的知识来训练小模型，实现性能的平衡。总体而言，patch之间的关系被认为是包含了图像语义信息的一种表达方式，因此通过学习这种关系，可以有效地捕捉到图像中的特征和结构，提高了蒸馏方法的性能.与其他适用于视觉transformer的蒸馏方法相比，该方法更充分利用了教师网络所携带的信息，不要求教师网络和学生网络的特征维度对齐，因此具有较高的灵活性。
模型蒸馏的数学基础：解密KL散度与温度参数
禅与计算机程序设计艺术
12-31 1033
1.背景介绍 模型蒸馏是一种用于减少模型复杂性和提高模型泛化能力的技术，它通过在高温和低温两个阶段对模型进行训练，然后在低温下选择出一部分高质量的样本，来提高模型的准确性和稳定性。在这个过程中，KL散度和温度参数是两个非常重要的概念，它们决定了模型蒸馏的效果。本文将从数学角度深入探讨模型蒸馏的数学基础，揭示KL散度和温度参数的数学模型和计算方法，并通过具体代码实例进行说明。 2.核心概念与联系...
模型压缩之蒸馏
starlight1231的博客
02-07 119
KL散度
KL散度python
09-14
KL散度（Kullback-Leibler divergence），也称为相对熵，是一种用于度量两个概率分布之间差异的指标。在Python中，可以使用SciPy库来计算KL散度。 下面是一个示例代码，演示如何使用SciPy计算两个概率分布之间的KL...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_daxia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值