DATASET DISTILLATION 论文总结

最新推荐文章于 2023-11-29 10:45:17 发布

snp的p

最新推荐文章于 2023-11-29 10:45:17 发布

阅读量2k

点赞数 2

分类专栏：数据集蒸馏文章标签：数据集蒸馏

本文链接：https://blog.csdn.net/swpdcsdn/article/details/87110331

版权

本文深入探讨了数据集蒸馏的概念，通过固定或随机权重初始化，生成新数据集以优化模型。研究发现，一次迭代更新后的数据集（蒸馏数据）可以达到高精度。论文重点分析了优化蒸馏数据、权重随机初始化的影响，以及在简单线性案例中的表现。提出的反向梯度优化技术加速了多epoch训练，但在复杂数据集上可能面临计算挑战。尽管增加了计算复杂性，数据集蒸馏为网络训练提供了新思路。

摘要由CSDN通过智能技术生成

以往的方法是不断地输入数据集，通过反向传播迭代的方法，更新网络权重，从而达到想要的训练结果。这篇论文提供了一个新的角度，对于分类网络来说，首先根据原来的数据集和网络的初始化权重（固定或随机），通过反向传播迭代更新新的数据集（生成的新数据集）。来形成新的几乎等于（大于等于）分类数量的数据集，再经过有限的几次迭代以后就可以达到比较高的精度。