深度学习中模型之间的相互约束DML

原参考论文：(https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Deep_Mutual_Learning_CVPR_2018_paper.pdf)
该论文中的源代码：
(https://github.com/chxy95/Deep-Mutual-Learning)
这个论文研究的本质是个图像分类任务，两个网络做分类，然后相互约束，提出了与传统的模型蒸馏不一样的方法，但息息相关，即基于模型蒸馏的相互学习方法DML。实验的目的主要是通过对各个模型的独立训练和相互训练，对比实验结果，当然，相互学习得到的实验结果比各个模型独立训练的实验效果更理想。

对于模型之间的独立学习，我利用的是jupyter来跑试验的代码，采用了两个相同的网络resnet32，训练结果如下：

对于模型的相互学习，同样是两个resnet32模型，训练结果如下：

经过对比，可以得到模型之间的相互学习，比该模型独立学习取得的效果更加理想。