knowledge from logits
文章平均质量分 76
xiyue-
这个作者很懒,什么都没留下…
展开
-
学习笔记:Learning from Noisy Labels with Distillation
因为具有噪声标签的大量数据相对容易获得,所以从噪声标签学习的能力在许多视觉识别任务中非常有用。在传统意义上,标签噪声被视为统计异常值,并且已经提出了诸如重要性重新加权和自举之类的技术来缓解该问题。根据本文作者的观察,现实世界的噪声标签表现出作为真实标签的多模特性,而不是表现得像独立的随机异常值。因此提出了一个统一的蒸馏框架,使用“侧面”信息,包括知识图谱中的小清理数据集和标签关系,以“对冲”从嘈杂标签中学习的风险。原创 2023-05-03 18:46:10 · 306 阅读 · 0 评论 -
学习笔记:Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students
本文主要专注于在几代人迭代中训练深度神经网路。为了优化目标网络也就是学生,需要首先训练另一个具有相同架构的网络也就是教师网络,并用于在下一阶段提供部分信号监督。这种策略可以有效地提高准确性但是其中怎么优化是需要逐步分析的,本文专注于教师的严格性方面,因为严格的教师通常具有很高的准确性方向入手,反向提出问题,宽容的老师是不是意味着有较低的准确性。通过在教师网路中添加一个损失项来使得教师更加宽容。实验结果表明虽然教师网络表现得不那么强大,但是学生表现出持续增长的能力,并最终比其他竞争对手获得更高的分类精度。原创 2023-04-29 15:14:28 · 149 阅读 · 3 评论 -
学习笔记:Learning Metrics from Teachers: Compact Networks for Image Embedding
度量学习网络用于计算图像嵌入,广泛用于图像检索和人脸识别等许多应用网络蒸馏已成功应用于改进图像分类,但几乎没有被探索用于度量学习。为此,本文提出了两个新的损失函数,它们模拟深度教师网络与小型网络之间的通信。在多个数据集评估后表明使用小型学生网络计算的嵌入比使用类似大小的标准网络计算的嵌入性能明显更好。在移动设备上使用的非常紧凑的网络(MobileNet-0.25)上的结果表明,所提方法可以将召回率结果从27.5%大幅提高到44.6%。原创 2023-04-22 20:54:53 · 232 阅读 · 1 评论