论文学习笔记：Teachers Do More Than Teach: Compressing Image-to-Image Models

最新推荐文章于 2024-06-08 09:50:29 发布

X_Yuki

最新推荐文章于 2024-06-08 09:50:29 发布

阅读量727

点赞数

文章标签：计算机视觉人工智能深度学习

本文链接：https://blog.csdn.net/X_Yuki/article/details/121053418

版权

论文提出了一种新方法，利用教师网络不仅进行知识蒸馏，还在生成器设计和搜索空间中发挥作用，以压缩图像到图像转换模型。通过教师网络的剪枝和基于核对齐的知识蒸馏技术，实现高效且保质的模型压缩。

摘要由CSDN通过智能技术生成

Teachers Do More Than Teach: Compressing Image-to-Image Models

论文题目： Teachers Do More Than Teach: Compressing Image-to-Image Models
论文链接： https://arxiv.org/pdf/2103.03467.pdf
论文代码：https://github.com/snap-research/CAT
引用方式：

@article{2021Teachers,
  title={Teachers Do More Than Teach: Compressing Image-to-Image Models},
  author={ Jin, Q.  and  Ren, J.  and  Woodford, O. J.  and  Wang, J.  and  Tulyakov, S. },
  year={2021},
}

Motivation

1、生成对抗网络(GANs)在生成高保真图像方面取得了巨大的成功，然而，由于巨大的计算成本和庞大的内存使用，它们的效率较低。
2、最近对压缩通用网络算法的研究表明，通过牺牲图像质量或涉及耗时的搜索过程，在获得更小的生成器方面取得了显著的进展。

目标： 通过引入一个教师网络来解决这些问题，它提供了一个搜索空间，除了执行知识蒸馏外，还可以找到高效的网络架构。

Contribution

在这项工作中，作者专注于压缩图像到图像的翻译网络，如CycleGAN和GauGAN。现有的压缩方法获得了一个非常有效的学生模型，并采用了另外两个网络：教师和超级网络，前者用于知识蒸馏，后者用于架构搜索。然而，我们认为超级网不是必要的，因为教师可以发挥它的作用。具体来说，在我们提出的框架中，教师所做的不仅仅是教学生（即知识蒸馏）——它通过三个关键贡献在框架的各个方面发挥着核心作用：
A. 介绍了一种新的网络设计，可以应用于编码器-解码器架构（如Pix2pix），和解码器风格的网络（如GauGAN）。它是教师网络设计和学生的架构搜索空间。
B. 使用一种高效的一步技术直接修剪训练过的教师网络，该技术去除其生成器中的某些通道，以实现目标计算预算，例如，乘法累积运算(MACs)的数量。
C. 介绍了一种基于师生模型特征空间相似性的知识蒸馏技术——核对齐知识蒸馏(KDKA)。
KDKA直接强制两种模型的特征表示相似，并避免了额外的可学习层来匹配师生特征空间的不同维度，否则可能导致信息泄漏。

Method

Design of Teacher Generator

由于已经存在一个teacher network，只要teacher network包含较大的搜索空间，从教师模型中搜索高效的学生应该更简单。这样，teacher network既可以进行知识蒸馏，又可以提供搜索空间。因此，可以改变获得良好supernet的目标，设计一个能够合成高保真图像的教师生成器；它本身包含一个合理的搜索空间。

Inception-based residual block

IncResBlock包括三个传统的卷积块和三个有深度的卷积块（虚线边界），其核大小都为1、3、5。在每两个连续的卷积层之间应用归一化层(例如，BN)和ReLU。可以在将六个块的特征相加后插入的规范化层是可选的。除非另有说明，两者都是默认适用的。