【AAAI】DCKD：动态对比知识蒸馏实现高效图像恢复-CSDN博客

本文链接：https://blog.csdn.net/m0_59163425/article/details/146642180

研究背景

图像恢复任务的重要性与挑战：图像恢复旨在从低质量图像中恢复高质量图像，由于在降质过程中会丢失关键内容信息，这是一个极具挑战性的病态逆问题。
深度学习在图像恢复中的应用：卷积神经网络（CNNs）和Transformer等深度学习方法在图像恢复任务中取得了显著成功，但这些模型通常计算复杂度高、存储需求大，难以在资源受限设备上部署。
模型压缩的需求：为了将这些高效的图像恢复模型应用于实际场景，需要对模型进行压缩，而知识蒸馏（KD）作为一种有效的模型压缩方法，能够将复杂教师模型的知识迁移到轻量级学生模型中，从而在降低计算和存储需求的同时提升学生模型性能。
现有KD方法的局限性：以往的KD方法在图像恢复中存在一些不足，如固定解空间限制了蒸馏能力，仅依赖L1型损失难以利用图像的分布信息等。

图1展示了传统知识蒸馏方法与本文提出的动态对比知识蒸馏（DCKD）方法的对比。在（a）中，传统KD方法仅约束了解空间的上界，缺乏对下界的约束，可能导致优化困难和低质量输出。在（b）中，现有对比式KD方法引入固定下界约束，虽然提升了教师模型知识的传递，但在训练后期学生模型远离下界，约束效果减弱。而（c）中的DCKD通过动态对比正则化，根据学生模型的学习状态动态调整解空间的下界，同时利用分布映射模块提取和对齐教师与学生模型输出的像素级类别分布，克服了传统方法的局限，提升了蒸馏效果和学生模型性能。

创新点

动态对比知识蒸馏框架（DCKD）：提出了一种全新的动态对比知识蒸馏框架，能够根据学生模型的学习状态动态调整蒸馏解空间，克服了传统KD方法中固定解空间的限制。
动态对比正则化（DCR）：引入动态对比正则化，通过动态负样本生成器生成动态下界约束，随着学生模型学习状态的变化不断调整解空间的下界，增强蒸馏效果。
分布映射模块（DMM）：设计了分布映射模块，首次在低级视觉任务中引入像素级类别信息进行知识蒸馏，利用预训练的图像编码器和码本提取教师和学生模型输出的像素级类别分布，并通过交叉熵损失进行对齐，弥补了以往KD方法在图像内容分布信息利用上的不足。
结构无关性与可扩展性：DCKD是一种结构无关的蒸馏框架，可以适应不同的骨干网络，并且可以与其他优化上界约束的方法相结合，进一步提升模型性能。

方法

动态对比正则化（DCR）：
- 动态负样本生成：通过降质模块对输入图像进行随机降质操作，生成多种不同降质图像，然后利用历史模型对这些降质图像进行重建，得到作为解空间下界的负图像。
- 动态对比损失计算：使用预训练的VQGAN作为特征编码器，从学生模型输出、正图像（教师模型输出）和负图像中提取特征，构建动态对比损失函数，通过平衡权重对不同层的特征进行加权，以优化学生模型的解空间。
- 历史模型更新：采用指数移动平均（EMA）方法更新历史模型，使其能够更好地反映学生模型的学习状态，随着训练的进行，更新步长逐渐增加。
分布映射模块（DMM）：
- 特征提取与分布计算：利用预训练的图像编码器提取教师模型和学生模型输出图像的深层特征，然后通过码本将这些特征转换为像素级类别分布。
- 交叉熵损失对齐：使用交叉熵损失函数对教师和学生模型的像素级类别分布进行对齐，使学生模型能够学习到教师模型的图像内容分布信息。

图2展示了本文提出的动态对比知识蒸馏（DCKD）框架，它包含两个主要部分：动态对比正则化（DCR）和分布映射模块（DMM）。DCR部分通过动态负样本生成器，利用降质模块和历史模型生成负样本，构建动态下界约束，并结合教师模型输出的正样本，使用预训练的VQGAN编码器提取特征，计算动态对比损失，以优化学生模型的解空间。DMM部分则使用预训练图像编码器提取教师和学生模型输出的深层特征，通过码本将其转换为像素级类别分布，再利用交叉熵损失对齐这些分布，使学生模型学习到教师模型的图像内容分布信息。这两个模块协同工作，提升了学生模型在图像恢复任务中的性能。

实验

实验设置：
- 教师和学生模型：在图像超分辨率任务中，使用基于Transformer的SwinIR和基于CNN的RCAN作为教师模型，相应的轻量级模型作为学生模型；在图像去模糊任务中，使用NAFNet和Restormer作为教师模型；在图像去雨任务中，使用Restormer作为教师模型。
- 数据集与评估指标：对于不同任务，分别在相应的数据集上进行训练和测试，如图像超分辨率使用DIV2K数据集训练，去模糊在GoPro数据集上进行，去雨在多个数据集收集的清洁-雨图像对上训练。采用PSNR和SSIM作为评估恢复性能的指标。
- 训练细节：详细介绍了不同任务的训练配置，包括输入图像的裁剪大小、数据增强方式、优化器选择及参数设置、学习率调整策略等。
实验结果：
- 图像超分辨率：在×2、×3、×4三种超分辨率尺度下，与从头开始训练、Logits、FAKD、MiPKD等代表性KD方法相比，DCKD在SwinIR和RCAN两种不同架构上均取得了更好的性能，PSNR指标提升明显，特别是在Urban100数据集上，相比其他方法有超过0.1dB的提升。
- 图像去模糊：在GoPro数据集上的定量比较显示，DCKD在CNN-based NAFNet和Transformer-based Restormer两种骨干网络下均表现出色，相比Logits KD有0.17dB的提升，且学生模型在参数相近的情况下显著优于其他方法，视觉效果上恢复的图像窗口轮廓最清晰。
- 图像去雨：在多个基准数据集上，DCKD以仅占MPRNet 18.9%参数量的模型，在Rain100L数据集上比MPRNet高出1.8dB，相比Logits KD在Rain100L上高出0.55dB，视觉对比中去雨能力更强。
消融实验：
- 框架组件的影响：通过在RCAN模型上进行消融实验，验证了DCR和DMM两个主要模块的有效性，单独使用DCR或DMM均能提升基线模型性能，而两者结合效果更佳。
- 降质模块的影响：对动态负样本生成器中的降质模块进行了消融实验，发现添加降质模块能带来PSNR的提升，且随机噪声降质方式效果最佳。
- 平衡权重的影响：研究了平衡系数λdcl和λce对结果的影响，发现当λdcl设为0.1，λce设为0.001时，模型取得最优结果。
- 负样本数量和初始更新步长的影响：实验表明，负样本数量增加到一定程度后性能提升趋于平稳，设置为5时达到PSNR与训练时间的最佳平衡；初始更新步长设为1000时性能最佳。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述