知识蒸馏在难标注小样本

Study Group Learning: Improving Retinal Vessel Segmentation Trained with Noisy Labels
Study Group Learning (SGL)
受K-fold交叉验证方案和知识蒸馏[8]方法的启发，我们提出了K-fold研究组学习(SGL)，以更好地处理小数据集中的噪声标签，特别是视网膜血管分割任务。

将提出的学习方案命名为研究组学习(Study Group learning, SGL)，因为每个用部分训练集训练的模型Mk都可以被视为一个“研究组”。最终的模型M是一个小组讨论的过程，将不同学习小组的知识进行融合融合。从理论上讲，公式2中的第二项可以看作是一种正则化，以避免过拟合基真标签，特别是当给定的标签包含一些噪声和可能的不正确注释时。图2显示了这样一个例子。在这个例子中，我们设置K = 2，从M1和M2得到的训练样本I的推断如右两列所示，其中I在M1的训练集中，但不在M2的训练分区中。M1忽略了多个薄而模糊的血管，高度拟合I的给定标签。然而，如果不是训练于I, M2可以推断出一些被忽略的血管为伪标签。在结合这两种标签的同时，最终的模型M可以直观地学习到更好的表示，变得更加一般化。

MT-UDA: Towards Unsupervised Cross-modality Medical Image Segme