CVPR 2023 精选论文学习笔记： Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation

最新推荐文章于 2024-10-02 23:04:10 发布
最新推荐文章于 2024-10-02 23:04:10 发布
阅读量85 收藏
点赞数
分类专栏： 一分钟看懂人工智能顶会论文CVPR 文章标签： 学习 笔记 计算机视觉 人工智能 ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bookmashup/article/details/134468458
版权
本文提出了一种名为MATE的数据集凝缩方法，通过最小化神经网络训练轨迹上的累积误差，提高蒸馏模型在图像分类任务上的泛化性能。该方法在CIFAR-10、CIFAR-100和ImageNet等任务上取得显著效果，理论基础基于损失景观分析，实际应用中采用课程学习策略。
摘要由CSDN通过智能技术生成

我们首先给出关于蒸馏方法的四种分类标准：

标准 1：数据集蒸馏方法类型

  • 知识蒸馏：这种方法涉及将知识从大型复杂模型传输到较小、更简单的模型。这是通过训练较小模型来模仿较大模型的预测来实现的。知识蒸馏可以通过多种方式进行，例如使用软目标、特征匹配或熵最小化。
  • 数据集凝缩：这种方法涉及从大型数据集中选择较小的数据子集，同时保留其基本特征。这可以通过多种方式进行，例如使用聚类算法、
了解本专栏 订阅专栏 解锁全文 超级会员免费看
结构化文摘
关注
专栏目录
订阅专栏
Featured Based知识蒸馏及代码(3): Focal and Global Knowledge (FGD)
@bangbang的博客
12-23 612
知识蒸馏已经在图像分类领域取得了不错的效果，然而，目标检测比较复杂，大部分知识蒸馏算法效果不佳。本文指出，在目标检测领域，教师和学生的特征在不同区域差异很大，尤其是在前景和背景区域。如果我们同等地蒸馏它们，特征图之间的不均匀差异将对蒸馏产生负面影响。因此，我们提出(FGD),Focal 蒸馏将图像分离出前景和背景，让学生网络更加关注教师网络的局部的关键像素和通道，Global蒸馏可以重建不同像素之间的关系并将知识从教师迁移到学生，补偿Focal蒸馏缺失的全局信息。由于本文提出的蒸馏算法是。
CVPR机器学习论文阅读报告基于3D的大姿态人脸对齐方法
06-26
【人脸对齐】 人脸对齐是计算机视觉领域的一个关键任务，主要目的是在人脸图像中精确地标定出一系列预定义的特征点，如眼睛、鼻子、嘴巴等的关键位置。这一步骤是人脸识别、表情分析、姿态估计等后续处理的基础。...
Knowledge Distillation（知识蒸馏）Review--20篇paper回顾
zenRRan的博客
01-26 1560
点击上方，选择星标或置顶，每天给你送干货！作者 |傅斯年Walton地址 |https://zhuanlan.zhihu.com/p/160206075编辑 |机器学习算法与自然语...
知识蒸馏论文阅读：DKD算法笔记
qq_43631268的博客
03-08 1593
SOTA的蒸馏方法主要基于蒸馏来自中间层的深度特征，而logit蒸馏的重要性被极大地忽略。为了给logit蒸馏的研究提供一个新的视角，我们将经典的KD损失重新表示为两部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们经验地研究并证明了这两部分的作用：TCKD迁移了关于训练样本的“难度”的知识，而NCKD则是logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一个耦合的形式，它①抑制了NCKD的有效性，②限制了平衡这两部分的灵活性。为了解决这些问题，我们提出解耦知识蒸馏。
【论文笔记_知识蒸馏_2022】Dynamic Rectification Knowledge Distillation
qq_45128278的博客
03-24 1699
摘要 知识蒸馏是一种技术，其目的是利用dark知识压缩信息，并将信息从一个庞大、训练有素的神经网络（教师模型）传输到一个较小、能力较差的神经网络（学生模型），从而提高推理效率。由于在边缘计算设备上部署这种笨重模型的复杂性令人望而却步，这种提取知识的方法得到了普及。一般来说，用于教授较小学生模型的教师模型本质上很麻烦，培训成本也很高。为了彻底消除繁琐教师模型的必要性，我们提出了一个简单而有效的知识提取框架，我们称之为动态校正知识提取（DR-KD）。我们的方法将学生转化为自己的老师，如果自己的老师在提取信息时.
Contrastive Learning in Image (CVPR 2023)
Hekena的博客
06-26 1079
patch alignment，是从每个patch计算text的CLS之间的相似值，作为权重，得到的image representation。然后，使用INfoLOSS 更新模型参数。
基于虚拟类别的小样本增量学习Semantic-Aware Virtual Contrastive Constraint 论文笔记 CVPR2023
weixin_50573009的博客
12-11 1115
思路：在 虚拟类空间 构建“ Fantasy space ”，利用分类对比任务共同优化,实现基类分离，并通过多语义融合实现预测,从而很好解决了FSCIL任务中的难点问题。核心是构建了一个“虚拟类空间”，通过预定义的转换（如旋转、颜色抖动）对原样本生成虚拟样本，在语义上对原类进行扩展，并在这个空间中进行类内聚合与类间分离的工作。多语义推理通过对测试样例进行多次转换，可以实现多维度的语义理解，有利于提高分类效果。指通过预定义转换在虚拟类空间构建的语义扩展空间，使原空间在语义上进行细粒度的延伸。
Curricular Contrastive Regularization for Physics-aware Single Image Dehazing (CVPR2023) 论文记录
Aunforgettable的博客
05-26 2991
本文结合构建的物理感知双分支单元和制定的课程学习对比正则化方法，构建了本文的去雾网络结构：C2PNet。 实验表明，C2PNet 明显优于SOTA最先进的方法，在 SOTS-indoor 和 SOTS-outdoor 数据集上分别具有 3.94dB 和 1.50dB 的 PSNR 提升。
Augmentation for small object detection-小目标检测数据扩增
shang_bo_liang的博客
02-21 1112
【文献阅读8】Augmentation for small object detection-小目标检测数据扩增_我是大阿周的学习博客-CSDN博客
图像超分入门必备：2019CVPR图像超分论文集合免费资源
01-02
包括2019CVPR图像超分论文集合以及论文解读&代码链接 个人整理，点个赞呗~
CVPR2021-纸面代码解释：cvpr2021cvpr2020cvpr2019cvpr2018cvpr2017论文，极市团队整理
02-27
cvpr2021 / cvpr2020 / cvpr2019 / cvpr2018 / cvpr2017（论文/代码/项目/论文阅读） 论文解读摘要： ://bbs.cvmart.net/articles/3031论文分类汇总： : 2000〜2020年历届CVPR最佳论文，解释等汇总： ://bbs.cvmart...
图像超分入门必备：2020CVPR图像超分论文集合
01-02
2020年的CVPR（Computer Vision and Pattern Recognition）会议集中了一系列关于图像超分辨率的前沿论文，涵盖了深度学习、图像处理和特征提取等多个方面。 1. **深度学习在图像超分辨率中的应用**： 在这些论文中...
SCI论文模板：CVPR、IEEE、TPAMI、ICCV等通用模板
07-03
SCI（Science Citation Index）是全球知名的科学引文索引，主要收录自然科学领域的高质量研究论文。在撰写SCI论文时，遵循正确的格式和结构至关重要，因为这不仅会影响审稿人的第一印象，还可能影响文章的可读性和...
Go基础学习08-并发安全型类型-通道（chan）深入研究
FLJS_T的博客
09-28 839
在前面学习中了解到对于单值变量，如：int、string；多值变量，如：map存在多协程对资源竞争的并发问题，为了解决并发性通常需要引入sync.Mutex解决。>对于通道的基本声明方式有三种：声明并初始化带缓冲的通道（ch1）；声明并初始化一个不带缓冲的通道（ch2）；仅仅声明一个通道（ch3） >什么是通道：==一个通道相当于一个先进先出（FIFO）的队列。也就是说，通道中的各个元素值都是严格地按照发送的顺序排列的，先被发送通道的元素值一定会先被接收。Select和for循环实现对channel的多次选
H.264学习笔记
zfenggo的博客
09-26 853
H.264凭借其出色的压缩效率、灵活的编码方式以及高质量的视频表现，成为了现代视频技术的核心标准之一。它不仅减少了存储需求，还提高了流媒体和实时视频传输的可行性。对于从高清到超高清视频，H.264的编码能力仍然广泛适用。H.264的帧结构设计（I帧、P帧和B帧）极大地提高了视频编码的压缩效率。I帧保存完整的图像信息，P帧通过参考之前的帧减少冗余数据，而B帧则通过双向参考提供进一步的压缩优势。这种帧间的协同工作大幅降低了带宽需求和存储成本，同时保持了视频的高质量。NALU头。
10.2学习
2401_87363162的博客
10-02 875
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
从0学习React（3）
qq_54432917的博客
09-29 643
在第一篇文章中，我们对index.tsx文件的每一行代码都做了简单的分析。通过第一篇文章的总结，我也大致知道了index.tsx里的很多语法。而第二篇文章，我对index.tsx文件的框架做了一个大致的分析，通过第二篇文章，我对index.tsx有了进一步的认识。按理来讲，第三篇文章我还是解析index.tsx文件，但是我发现，对于前两篇文章，其实我对语法的细节有很多不明白的点。因此这篇文章，我就把React的一些最基础的知识给梳理一下，帮助我更好的理解index.tsx的代码。
Go基础学习10-原子并发包sync.atomic的使用：CSA、Swap、atomic.Value......
最新发布
FLJS_T的博客
10-02 543
原子操作sync.atomic以及原子变量atomic.Value详细介绍。go中原生的支持原子操作的函数支持的变量类型int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。对于上述原子操作类型中的每一个，可以支持的数据类型有：==int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。但是否sync.Mutex变量能够保证操作的原子性。atomic.Value类型是开箱即用的，我们声明一个该类型的变量
6.824 Lab 2C 学习记录
kingsill的博客
09-29 297
最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。2C的test中的unreliable figure8算是给博主的迎头一棒，需要根据raft论文的figure8进行解决，leader。根据前任及博主自己的经验，unreliable figure8的除了上述这一点以外，需要对。博主由于之前的不严谨，给自己留下了很大的改进困难，最后不得不重构代码。进行一定的设计，可以参考课程里老师提出的意见。一下为博主的github仓库，需要的可以参考。有一定的考验，那么就需要对。
视觉任务结构：CVPR2018最佳论文《Askonomy：分解任务迁移学习》
在2018年的计算机视觉与模式识别（CVPR）会议上，Amir Zamir、Alexander Sax、William Shen等人发表了一篇名为《Askonomy: Disentangling Task Transfer Learning》的最佳论文，该研究专注于视觉领域的迁移学习问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

结构化文摘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值