【CVPR2025】【数据据蒸馏】Neural Characteristic Function Matching，上海交大在2080成功CIFAR-100的无损蒸馏

最新推荐文章于 2025-03-31 00:17:08 发布
最新推荐文章于 2025-03-31 00:17:08 发布
阅读量547 收藏 3
点赞数 3
分类专栏： 蒸馏 文章标签： 人工智能 机器学习 深度学习
原文链接：https://finance.sina.com.cn/roll/2025-03-04/doc-inenmnxz5838479.shtml
版权

在CVPR 2025上，上海交通大学等机构提出了一种新的数据集蒸馏方法：NCFM（Neural Characteristic Function Matching）。这种方法显著降低了GPU显存占用，提升了训练速度，并在单张NVIDIA 2080 Ti GPU上成功完成了CIFAR-100的无损蒸馏。NCFM相比其他方法，GPU显存占用降低了300倍以上，训练速度提升了20倍‌。

论文

论文名：《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）

数据蒸馏 (Dataset Distillation) 的目标就像给数据集做“瘦身”， 用少量合成数据 (Synthetic Data) “浓缩” 原始大数据集 (Real Data) 的精华信息，让模型仅用这些“迷你”数据就能达到甚至超越在原始数据集上的训练效果。

现有方法的困境

  • 存储压力山大： 动辄TB甚至PB级别的数据，存储成本高昂

  • 训练耗时漫长： 在海量数据上训练模型，计算资源和时间成本都让人望而却步

  • 内存瓶颈凸显：大模型 + 大数据，GPU显存分分钟被榨干

现有方法的困境： “像素级”匹配 vs. “分布级”差异

目前，数据集蒸馏方法主要分为两大类：

  • 特征匹配 (Feature Matching)： 这类方法就像“像素级”比对，直接比较合成数据和真实数据在特征空间的相似度。 例如，早期的 MSE (均方误差) 方法就是典型代表，但它往往忽略了数据的高维语义信息，效果有限。

  • 分布匹配 (Distribution Matching)： 这类方法更注重“分布级”的相似性，试图让合成数据和真实数据在分布上尽可能一致。 MMD (最大均值差异) 是常用的度量指标，但研究表明，MMD仅仅对齐了数据的低阶矩，并不能保证整体分布的相似性，而且计算复杂度较高。

简单来说，现有方法要么过于简单粗暴，无法捕捉数据的深层分布；要么计算复杂，效率不高。这就限制了数据集蒸馏技术的进一步发展。

NCFM： Minmax 博弈下的“神经特征函数”

为了突破现有方法的瓶颈，NCFM 从全新的 Minmax 博弈视角出发， 引入了 “神经特征函数差异 (Neural Characteristic Function Discrepancy, NCFD)” 这一创新度量指标。
在这里插入图片描述

  1. Minmax 博弈： “矛与盾”的对抗学习

NCFM 将数据集蒸馏问题重新定义为一个 Minmax 优化问题，就像一场“矛与盾”的对抗游戏：

“矛” (Discrepancy Metric Network, 差异度量网络 ψ)：它的目标是 最大化 (Max)合成数据和真实数据之间的差异 (Discrepancy)， 努力找到一个最能区分二者分布的“判别器”。 这个“判别器”就是神经特征函数差异 (NCFD)

“盾” (Synthetic Data, 合成数据 D)：它的目标是 最小化 (Min) 在 “矛” 的度量下，合成数据和真实数据之间的差异， 努力生成尽可能“逼真”的合成数据， “欺骗” “判别器”

通过 “矛与盾” 的不断对抗和迭代优化，NCFM 能够 自适应地学习到一个更鲁棒、更有效的差异度量指标 (NCFD)， 并生成更高质量的合成数据。 这种 Minmax 框架与 GANs 的对抗生成思想有异曲同工之妙，但目标和实现方式却截然不同。

  1. NCFD： 基于“特征函数”的全面分布刻画

NCFD 的核心创新在于 “神经特征函数差异” 这一度量指标。 它巧妙地利用了特征函数 (Characteristic Function, CF)的强大能力来刻画数据分布

什么是特征函数 (CF)？简单来说， 特征函数就是概率密度函数的傅里叶变换。它具有以下关键优势：

唯一性：一个分布对应唯一的特征函数，反之亦然。这意味着特征函数能够完整、无损地编码分布的全部信息

全面性： 特征函数包含了分布的所有矩信息，比 MMD 仅对齐低阶矩更全面

NCFD 如何“神经”？NCFM 并没有直接使用传统的特征函数，而是引入了一个轻量级的神经网络 ψ 来学习特征函数的频率参数 t 的采样策略。这样做的好处是：

自适应性： 神经网络 ψ 可以根据数据分布的特点， 动态调整频率参数的采样策略， 最大化差异度量 (NCFD)

高效性：相比于 MMD 的二次复杂度， NCFD 的计算复杂度是线性的，更高效
  1. 相位 (Phase) 与幅度 (Amplitude) 的精妙平衡

NCFM 在 NCFD 的计算中， 特别关注了神经网络特征在复数域的 “相位 (Phase)” 和 “幅度 (Amplitude)” 信息

相位信息：编码了数据的 “中心” 和 “模式”， 对于保证合成数据的 “真实性 (Realism)”至关重要

幅度信息：反映了数据的“尺度” 和 “范围”， 有助于提升合成数据的“多样性 (Diversity)”。

NCFM 通过精妙地平衡相位和幅度信息， 使得合成数据既能保持真实感，又能兼顾多样性， 从而显著提升了蒸馏性能

实验结果： 性能与效率的双重 “王炸”

实验结果充分证明了 NCFM 的卓越性能和效率：

性能大幅超越 SOTA： 在 CIFAR-10, CIFAR-100, Tiny ImageNet 以及高分辨率的 ImageNet 子集上，NCFM 都显著超越了现有最先进 (SOTA) 的数据集蒸馏方法。 在 ImageSquawk 高分辨率数据集上，NCFM 甚至取得了惊人的 20.5% 的精度提升！

资源效率惊人：相比于 DATM 等 SOTA 方法，NCFM 的 GPU 显存占用降低了 300 倍以上！ 训练速度提升了 20 倍！更令人震惊的是，NCFM 仅用 2.3GB 显存，就在单张 NVIDIA 2080 Ti GPU 上成功完成了 CIFAR-100 的无损蒸馏！ 这在之前是难以想象的

在这里插入图片描述

【知识蒸馏论文解读】Dataset Distillation 创新性十足的数据集蒸馏
捡起一束光的博客
01-21 6157
模型蒸馏（model层面）的目标是从一个复杂的模型中蒸馏知识到小的模型上。本文考虑的是数据集上的蒸馏（**dataset层面**），具体来说，我们会固定住模型，然后尝试从较大的训练数据集中蒸馏知识到小的数据集上。核心目的是将原始的大数据集压缩成一个小的数据集（不需要来自训练集的分布），并且在这个小数据集上训练模型的效果和原始较大数据集上的训练效果是接近的。......
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
算法论文/数据集1——数据集蒸馏得更小！Dataset Distillation: A Comprehensive Review
ZhouDevin的博客
09-19 2326
海量数据大大增加了存储和传输的负担，并进一步导致了繁琐的模型训练过程。引入了数据集蒸馏 （DD），也称为数据集压缩 （DC），DD 旨在推导出一个包含合成样本的更小的数据集，在此基础上，经过训练的模型产生的性能与在原始数据集上训练的模型相当。
数据蒸馏（Data Distillation）基本原理
个人Blog
03-13 644
同步更新：https://www.big-yellow-j.top/posts/2025/03/10/Data-Distillation.html主要介绍数据蒸馏操作，并且介绍CVPR-2025上海交大满分论文：Dataset Distillation with Neural Characteristic Function: A Minmax Perspective。本文主要是借鉴论文1中的整体结构，大致了解什么是DD而后再去介绍（CVPR-2025）论文。
CVPR 2024 论文和开源项目合集，Python自学
m0_61331407的博客
03-30 2900
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
《DATASET DISTILLATION》
volcan的博客
09-13 621
模型蒸馏的目的是将复杂模型的知识提炼为简单模型的知识。在本文中考虑了一个替代的公式，称为数据集蒸馏:我们保持模型固定，而不是尝试从一个大的训练数据集提取知识到一个小的。其思想是合成少量的数据点，这些数据点不需要来自于正确的数据分布，但当给学习算法作为训练数据时，会近似于在原始数据上训练的模型。例如，文章展示了可以将6万幅MNIST训练图像压缩成10幅合成蒸馏图像(每类一张)，在给定一个固定的网络初始化条件下，只需几个梯度下降步骤，就可以达到接近原始性能的效果。
数据蒸馏：Dataset Distillation with Neural Characteristic Function: A Minmax Perspective论文理解
最新发布
lovep1的博客
03-31 808
1、基于分布的数据蒸馏效果比较好，但是距离度量往往无法准确的捕捉分布差异，导致不可靠性 2、本文将数据集蒸馏表述为minmax优化问题，引入了神经特征函数差异（NCFD），实现了合成样本的真实性和多样性的平衡（就是生成了更接近真实数据的压缩后数据） 3、在低分辨率和高分辨率数据集上达到SOTA，GPU内存使用量减少了３００ｘ，速度提升２０ｘ，仅使用２.３GB的显存2080TI在CIFAR100上无损压缩
喜提CVPR 2025满分！数据蒸馏取得新突破！速度up20倍，GPU占用仅2G
学姐带你玩AI的博客
03-05 1296
敢信一块2080Ti就能做大模型？上交大提出的全新数据集蒸馏方法NFCM做到了，不仅速度提升了20倍，GPU占用更是只有2G！相关论文获得了CVPR 2025满分！作为DeepSeek的核心技术，数据蒸馏因为能通过压缩数据集或知识迁移，，成为了资源受限场景（比如移动设备）必备技术。又因为其涉及子领域众多（比如分布匹配），还与生成模型等技术交叉，从而拥有了相当。可谓产业与学术的双重落地，无疑是机器学习领域的研究焦点。
论文阅读笔记：Dataset Distillation with Neural Characteristic Function: A Minmax Perspective
HollowKnightz的博客
03-27 1080
论文阅读笔记：Dataset Distillation with Neural Characteristic Function: A Minmax Perspective
SUMix数据增强新SOTA：解决Mixup混合后的图像内容与其标签不匹配问题
Debroon
07-15 1199
数据增强新方法
AAAI 2025 | CNC：用于无监督多类异常检测的跨模态正态约束
Python_cocola的博客
02-04 1087
现有的基于无监督蒸馏的方法依赖于编码和解码特征之间的差异来定位测试图像中的异常区域。然而，仅在正常样本上训练的解码器仍然能够很好地重建异常补丁特征，从而降低了性能。这个问题在无监督多类异常检测任务中尤为突出。作者将这种行为归因于解码器的“过度泛化”（OG）：多类训练中补丁模式的多样性显著增加，增强了模型对正常补丁的泛化能力，但也不可避免地扩大了对异常补丁的泛化。
cifarSOTA:回顾CIFAR 10和100数据集分类的最新进展
05-19
西法索塔 回顾CIFAR 10和100数据集分类的最新进展 目录 ResNext 广泛的资源 预设资源 随机深度树脂 Resnet 超级融合 纸咖啡官员 随机权重平均 纸pytorch | 重生网络 纸 删除ReLU 纸 循环学习率 纸 震动掉落 纸lua官方| 摇一摇 纸lua官方| pytorch | 混合 纸pytorch官方| 剪下 纸pytorch官方| 随机擦除 纸pytorch官方| SGDR 纸官方的 密集网 纸官方的 金字塔滴 纸 金字塔资源 纸 ResNext 纸 广泛的资源 纸 预设资源 纸 随机深度资源 纸官方的 Resnet 纸
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
CVPR2021 | CVPR2021最全整理，CVPR2021下载链接，CVPR2021全部论文代码
王博（Kings）的博客
01-11 2万+
超全总结
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
模型蒸馏与量化技术：让AI模型“瘦身”却不“降智”的底层逻辑
weixin_45631123的博客
02-25 1265
在算力军备竞赛的今天，模型优化技术已成为AI落地的胜负手。当我们用INT8在智能手表上运行BERT，用FP8在无人机实现实时语义分割时，这场静悄悄的效率革命正在重塑AI的应用边界。理解这些技术背后的数学之美，或许就是打开下一代智能系统的钥匙。延伸阅读[Hinton经典论文《Distilling the Knowledge in a Neural Network》][NVIDIA白皮书《8-bit Floating Point: The Next AI Datatype》]
cifar10和cifar100(简介&可视化)
热门推荐
disanda的专栏
06-02 3万+
cifar CIFAR数据集是 Visual Dictionary (Teaching computers to recognize objects) 的子集，由三个教授收集，主要来自google和各类搜索引擎的图片。 备注：cifar官网 1.cifar10 由10个类的60000的32*32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。 类型如下: 2....
flow matching
01-21
### Flow Matching in Machine Learning Flow matching represents a class of generative models that aim to learn complex probability distributions by transforming simple base distributions through invertible mappings. These transformations are parameterized as neural networks, allowing for flexible modeling of intricate data structures. In flow-based models, the core idea is to construct an invertible function \( f \) such that given samples from a known distribution (like Gaussian), one can generate samples resembling those from the target distribution using this transformation[^1]. The key advantage lies in exact likelihood computation and efficient inference capabilities due to the bijective nature of these functions. #### Algorithmic Foundations The training process involves minimizing the discrepancy between transformed source points and actual dataset instances via maximum likelihood estimation or other divergence measures like Kullback-Leibler divergence. This optimization ensures that after passing through multiple layers of learned transformations, initial noise vectors closely match real-world observations' statistical properties. A notable characteristic of flows includes their ability to compute densities directly without requiring approximations typically found within variational autoencoders or GANs. Moreover, they offer deterministic forward passes which facilitate stable gradients during backpropagation compared to stochastic counterparts seen in VAE architectures[^2]. ```python import torch from nflows import transforms, distributions, flows base_dist = distributions.StandardNormal(shape=[2]) transform = transforms.CompositeTransform([ transforms.AffineCoupling(transform_net_create_fn=lambda in_features: torch.nn.Linear(in_features, in_features)) ]) flow_model = flows.Flow(transform=transform, distribution=base_dist) def train_flow(flow_model, optimizer, dataloader): for batch_idx, (data,) in enumerate(dataloader): loss = -flow_model.log_prob(data).mean() optimizer.zero_grad() loss.backward() optimizer.step() # Example usage with PyTorch DataLoader omitted here. ``` #### Applications Across Domains Applications span across various domains including but not limited to image synthesis, audio processing, anomaly detection, time series forecasting among others where capturing multimodal dependencies plays crucial role. For instance, normalizing flows have been successfully applied towards enhancing speech quality while preserving naturalness; similarly, conditional variants enable generating realistic images conditioned on specific attributes or labels[^3].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值