![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CV入门学习笔记
文章平均质量分 80
耶hu
这个作者很懒,什么都没留下…
展开
-
【论文学习】Dilip Krishnan...Contrastive Representation Distillation.
Abstract我们通常希望将表征知识从一个神经网络转移到另一个神经网络。例如,将一个大的网络提炼成一个更小的网络,将知识从一种模态转移到另一种,或者将一组模型集合集成成一个单一的估计器。知识蒸馏是解决这些问题的标准方法,它使教师和学生网络的概率输出的KL之间的差异最小化。我们证明,这一目标(KL散度)忽略了教师网络的重要结构知识。这启发了另一个目标,通过这个目标,我们训练学生在教师的数据表示中获取更多的信息。我们把这个目标表述为对比学习(contrastive learning)。原创 2024-02-21 20:21:55 · 1133 阅读 · 0 评论 -
补充学习:Logistic回归和Softmax回归
学习笔记自用,补充上篇【】的数学内容。原创 2024-02-07 13:21:34 · 356 阅读 · 1 评论 -
补充学习:KL散度
下面的视频展示了KL散度随着分布变化而带来的差异,具体地,固定分布1(红色曲线),改变分布2(蓝色曲线),可以直观地看到,两个分布差异越小,其KL散度(阴影区域面积)越小。上述例子中,我们判断序列1更接近序列0的依据是这两个序列更容易混淆,这也是建模两个分布距离的依据,即区分这两个分布的难易程度,KL散度便是一种经典的建模方式。“很简单,我把左手的硬币抛一万次,记录正反两面出现的次数,然后右手中的每个硬币都抛一万次,看哪个结果和左手的结果类似,它就最相近,这其实就是数学中的KL……包括离散和连续两种形式。转载 2024-02-19 18:46:09 · 34 阅读 · 1 评论 -
【论文学习】Geoffrey Hinton... Distilling the knowledge in a neural network.
Geoffrey Hinton的这篇论文是知识蒸馏的开山之作,具有重要的学习和借鉴意义。类似于我们高中所学的蒸馏,通过沸点不同将不同的物质分离提取。传统的知识蒸馏就是把一个大的训练好的教师模型的知识萃取出来,“教授”给轻量级的学生模型,完成知识的“迁移”。教师模型通常更加复杂,可能有着更高数量级的超参数,更复杂或更多的处理模型。学生模型可以被认作是教师模型压缩后得到的模型,使之能够适应算力更小的系统。在机器学习领域中,训练的目标和部署的目标是不同的。原创 2024-02-01 12:33:57 · 1345 阅读 · 2 评论 -
对比学习(Constrastive Learning)论文概述
对比学习是无监督学习的一种形式,旨在通过最大化样本之间的相似性并最小化不相关样本之间的相似性来学习数据表示。原创 2024-01-27 13:03:53 · 1732 阅读 · 0 评论 -
CV入门学习:概念与应用场景
人类视觉原理:原始信号摄入(瞳孔摄入像素Pixels)-> 初步处理(大脑皮层某些细胞发现边缘和方向) -> 抽象(大脑判定形状)-> 进一步抽象(判断物体)机器学习:构造多层的神经网络 -> 较低层的识别初级的图像特征 -> 若干底层特征组成更上一级特征 -> 最终通过多个层级的组合,在顶层做出分类。目前主流的基于深度学习的机器视觉方法,原理跟人类大脑工作原理相似。2.需要计算的数据量巨大。6. 人体关键点检测。原创 2024-01-24 22:27:32 · 424 阅读 · 1 评论