最新论文阅读（33）--Data Distillation: Towards Omni-Supervised Learning

最新推荐文章于 2023-05-17 09:23:52 发布
最新推荐文章于 2023-05-17 09:23:52 发布
阅读量1.7k 收藏 2
点赞数 1
分类专栏： 深度学习论文阅读 深度学习--最新论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wydbyxr/article/details/80644796
版权

Data Distillation: Towards Omni-Supervised Learning

- 2017年12月
- 全方位监督（Omni-Supervised）；数据精馏（data distillation）
- Ilija Radosavovic, Piotr Dollar, Ross Girshick, Georgia Gkioxari, Kaiming He,Facebook AI Research (FAIR)

　　全监督学习是一种半监督学习的特殊制度，学习者利用所有可用的标记数据加上互联网规模的未标记数据源。
　　全方位监督学习在现有标记数据集上的表现更低，提供了超越最先进的完全监督方法的潜力。
　　为了利用全方位监督的设置，我们提出了数据精馏，一种使用单一模型从多个未标记数据变换中合并预测的方法，以自动生成新的训练注释。
　　在COCO dataset上，实验了人体关键点检测和常规的目标检测，结论是使用数据蒸馏的模型好于直接使用标签训练的模型（监督模型）。
这里写图片描述

whitenightwu
关注
专栏目录
Data Distillation: A Survey
c_cpp_csharp的专栏
06-01 1076
深度学习的普及导致了大量海量、多样的数据集的管理。尽管在单个任务上具有接近人类的表现，但在大型数据集上训练参数饥饿模型会带来多方面的问题，例如（a）高模型训练时间；（b） 研究迭代缓慢；以及（c）生态可持续性差。作为一种替代方案，数据蒸馏方法旨在合成简洁的数据摘要，这些摘要可以作为原始数据集的有效替代品，用于模型训练、推理、架构搜索等场景。在本次综述中，我们提出了数据蒸馏的正式框架，并提供了现有方法的详细分类。
计算机视觉论文总结系列（一）：目标检测篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-23 8352
本系列主要面向计算机视觉目标检测、图像分割及OCR等领域，每篇将对该领域论文等方面展开介绍，本篇主要介绍目标检测领域历年论文，希望大家能够多多交流如有错误请大家在评论区指正，如有侵权联系删除
论文阅读笔记（三十一）：Data Distillation: Towards Omni-Supervised Learning
sunshine_010的博客
04-22 1359
We investigate omni-supervised learning, a special regime of semi-supervised learning in which the learner exploits all available labeled data plus internet-scale sources of unlabeled data. Omni-super...
Data Distillation: Towards Omni-Supervised Learning
a410209的博客
11-09 893
https://zhuanlan.zhihu.com/p/33493383 Introduction 主要思想是用通过使用一个在大量已标记数据上训练过的模型在未标记数据上生成annotations，然后再将所有的annotations（已有的或者新生成的）对模型进行重新训练。作者将其思想同 G. Hinton, O. Vinyals, and J. Dean. 等人的Distilling the...
目标检测向：Data Distillation: Towards Omni-Supervised Learning
weixin_40516558的博客
03-22 1320
参考原来写在知乎的文章：https://zhuanlan.zhihu.com/p/33493383
数据蒸馏: Data Distillation: Towards Omni-Supervised Learning
xungeer29 的博客
01-20 6045
Data Distillation: Towards Omni-Supervised Learning 这是一种挑战真实世界数据的 self-train 的方法，在Kaggle等大数据竞赛中非常有用。 Omni-Supervised Learning：全方位监督学习，属于半监督(semi-supervised )中的一种，使用带标签的数据和不带标签的其他数据进行学习，可以一定程度上突破带标签数据...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4965
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
6D-VNet:End-to-End 6DoF Vehicle Pose Estimation from Monocular RGB Images
WangKingJ的博客
12-29 1433
Abstract   我们提出了一个概念上简单的6DoF姿态估计网络，尤其是对于自动驾驶场景。在一个单目RGB图像上，我们的方法能够有效的检测交通工具，同时回归它们的三维平移和旋转向量。这个方法叫做6D-VNet，在Mask R-CNN上扩展了一个定制的投网络，以用于检测更好的车辆类比，旋转和平移。与以往的方法相比，本文提出的6D-VNet是端到端训练的。此外，我们表明，在联合损失中包括平移回归对...
卷积神经网络——实例分割之Mask R-CNN论文翻译
itlilyer的博客
09-29 4625
论文链接 https://arxiv.org/abs/1703.06870 相关论文翻译链接 R-CNN：https://blog.csdn.net/itlilyer/article/details/107190083 Fast R-CNN：https://blog.csdn.net/itlilyer/article/details/107764472 Faster R-CNN：https://blog.csdn.net/itlilyer/article/details/108049850 Mask R-C
（十八：2020.10.10）MICCAI 2020 追踪之论文纲要（译）＜上＞
Jojo论文基地
10-10 5179
讲在前面 暂时先更新PART I, 持续更新。 论文目录 PART I 《Machine Learning Methodologies 机器学习方法》 论文 概要 1.Attention, Suggestion and Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation注意，建议和注释：用于生物医学图像分割的深度学习框架 2.Scribble2Label: Scribble-Sup
全方位学习Omni-supervised learning
qq_40723205的博客
09-01 1378
Omni-supervised learning: 全方位学习：一种特殊的半监督学习 Omni-supervised learning，利用所有可利用的训练数据，包括标记和未标记的。 semi-supervised learning，研究主要针对一个完整数据集，将其分为标记和未标记的，然后进行训练，这类研究具有上限，即全部使用标记数据训练。omni-supervised learning 没有...
蒸馏学习（Distillation Learning）
最新发布
To be a better man
05-17 1361
知识蒸馏则是指使用大模型的预测结果和分布情况作为“软目标”，并将其作为小模型的训练目标，以便小模型能够通过这种方式学习到大模型的知识。大模型通常是一个拥有更多层和参数的复杂模型，小模型则是一个简单的模型。它旨在通过将大模型的知识传递给小模型来减小模型的大小，从而提高模型在资源受限或计算能力有限的环境中的效率。总的来说，蒸馏学习是一种有效的模型压缩技术，可以帮助我们在保持模型性能的同时减小模型大小，提高模型的效率。这个过程被称为“蒸馏”，因为我们将大模型的知识“蒸馏”到小模型中。
Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation
judgechen1997的博客
09-23 3653
Learning Efficient Object Detection Models with Knowledge Distillation概述 之前博客整理的论文都是knowledge distillation及其变体，作为机器学习的一种方法的研究发展历程。从这篇博客开始，我将介绍其在CV领域的一些具体的用法。 本文是knowledge distillation在detection上成功应用的一...
深度学习——（11）Knowledge distillation理论
羊羊的博客
09-22 1235
知识蒸馏 将已经训练好的模型包含的知识，蒸馏到另一个模型中 teacher 模型只在训练的过程中使用 一个teacher可以用于蒸馏多个student loss分为两个部分 第一部分称为Lsoft:（两个分布之间的loss） 第二部分称为Lhard:（两个确定值之间的loss)
knowledge distillation论文阅读之：Learning Student Networks via Feature Embedding
qq_42902997的博客
11-05 1272
文章目录ABSTRACTINTRODUCTIONRELATED WORKNetwork TrimmingLayer DecompositionKnowledge DistillationSTUDENT NETWORK EMBEDDINGTeacher-student Interactions ABSTRACT 知识蒸馏的本质是将 knowledge 从 teacher 网络 迁移到 student 网络，在经典的 KD 中，通常使用的方法是首先训练 teacher 网络，然后使用它的 logits 层输出
Omni-sourced Webly-supervised Learning for Video Recognition
h137437的博客
11-26 1479
Omni-sourcedAbstract1 Introduction3 Proposed Method3.1 Overview3.2 Framework formulation3.3 Task-specific data collection3.4 Teacher filtering3.5 Transforming to the target domainJoint trainingDatasetsExperimentsVideo architecturesVerifying the efficacy of
Dataset Distillation论文笔记
Zoran的博客
01-04 2054
  本文提出了一种称为数据集蒸馏的方法：保持模型不变，尝试从一个大型训练数据集提取知识到一个小的数据集。其思想是合成少量的数据（每个类别一个数据），这些数据不需要来自正确的数据分布，但是当作为模型的训练数据时，训练得到的模型将近似于在原始数据上训练的模型。 论文地址：https://arxiv.org/pdf/1811.10959.pdf 代码地址：https://github.com/SsnL/dataset-distillation 算法细节   标准的训练通常是在小批量上做随机梯度下降，每一步t从
【综述】2023-Dataset Distillation：A Comprehensive Review
MOL
04-03 616
"Dataset Distillation"是一种知识蒸馏（distillation）方法，它旨在通过在大型训练数据集中提取关键样本或特征来减少深度神经网络的体积。这种方法可以帮助缓解由于海量数据带来的存储和传输压力，并且可以加速模型推理的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值