【牛津大学博士论文】探索用于半监督学习的概率模型

来源：专知
本文为论文介绍，建议阅读5分钟
本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。

深度神经网络因其强大的性能，越来越多地应用于计算机视觉任务。然而，它们的训练需要大规模的标注数据集，而这些数据集的准备工作耗时费力。半监督学习（SSL）通过结合标注数据和未标注数据进行学习，提供了一种解决方案。

虽然大多数最先进的SSL方法采用确定性方法，但对其概率模型的探索仍然有限。研究这一领域非常重要，因为概率模型可以提供不确定性估计，这在实际应用中至关重要。例如，由于未标注数据中的潜在伪标签错误，SSL训练的模型可能不如监督学习训练的模型，且这些模型在实践中更容易做出错误预测。特别是在医学图像分析和自动驾驶等关键领域，决策者必须了解模型的局限性以及何时可能出现错误预测，这些洞察通常由不确定性估计提供。此外，当使用未标注样本进行训练时，不确定性还可以作为过滤不可靠伪标签的标准，从而有可能提高深度模型的性能。

本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。这种方法不仅缓解了以往方法中潜在的过拟合问题，而且在四项评估指标上都取得了优异的结果。与其经验设计的前辈不同，GBDL以完整的贝叶斯公式为基础，提供了理论上的概率基础。

鉴于MC dropout的局限性，我引入了NP-Match，这是一种用于大规模半监督图像分类的新概率方法。我们通过在不同挑战性环境下（如标准、不平衡和多标签半监督图像分类）的大量实验，评估了NP-Match的泛化能力。实验结果表明，NP-Match不仅与先前最先进的方法竞争力强，而且比基于MC dropout的模型更快地估计不确定性，从而提高了训练和测试的效率。

最后，我提出了NP-SemiSeg，一种用于半监督语义分割的新概率模型。这个灵活的模型可以与各种现有分割框架集成，以进行预测和估计不确定性。实验表明，NP-SemiSeg在准确性、不确定性量化和速度方面都优于MC dropout。