半监督学习笔记

小鹏Running

已于 2023-09-05 10:49:45 修改

阅读量116

点赞数

文章标签：学习笔记机器学习

于 2023-09-04 21:41:11 首次发布

本文链接：https://blog.csdn.net/qq_38927534/article/details/132676648

版权

半监督学习方法主要包括自训练和一致性正则化。

1、半监督自训练（Semi-Supervised Self-Training）是一种机器学习方法，用于在标注数据（有标签的数据）和无标注数据（没有标签的数据）的情况下进行模型训练和预测。它结合了有标签数据和无标签数据，通过迭代的方式来逐步改进模型的性能。

半监督自训练包含以下步骤：

在每一轮迭代中，通过增加无标签数据的伪标签，将这些无标签数据作为有标签数据的一部分来训练模型。通过模型更新的过程，伪标签的可信度也会随着迭代的进行而逐渐提高。

半监督自训练的核心思想是利用无标签数据的信息来增强模型的泛化能力。通过利用大量的无标签数据，可以提供更多样本以帮助模型学习数据的分布和结构，从而减少对有标签数据的依赖，提高模型的性能。

需要注意的是，半监督自训练方法在使用无标签数据时存在一定的风险，可能会引入错误的伪标签导致模型性能下降。因此，在应用半监督自训练时需要谨慎选择无标签数据和伪标签的生成策略，并进行适当的模型调优和验证，以确保取得良好的结果。

2、

半监督一致性正则化（Semi-Supervised Consistency Regularization）是一种用于半监督学习中的正则化方法。在半监督学习任务中，我们通常有一部分有标签数据和大量无标签数据。半监督一致性正则化通过鼓励模型在无标签数据上产生一致的预测结果，来提高模型的泛化能力和性能。

该方法的核心思想是：模型在无标签数据上生成多个不同视图的预测结果，并要求这些结果保持一致。一致性正则化通过引入一个一致性损失函数来实现。这个损失函数比较无标签数据的不同视图之间的差异，并最小化它们的差距，从而迫使模型的预测结果保持一致。

具体而言，半监督一致性正则化方法可以按照以下步骤进行：

半监督一致性正则化方法通过利用无标签数据来约束模型的学习过程，使得模型在无标签数据上产生一致的预测结果，从而提高模型的泛化能力和鲁棒性。这种方法在缺乏大量有标签数据的情况下，可以有效地利用无标签数据来增强模型的性能。

需要指出的是，一致性正则化方法在实践中需要进行一些超参数的调优和验证工作，以确保取得最佳的效果。此外，不同的任务和数据集可能需要适应性地设计和调整一致性损失函数的形式和权重，以适应具体的情况。

3、半监督学习SSL

A Simple Semi-Supervised Learning Framework for Object Detection提出了一个简单而有效的SSL框架和数据增广策略用于视觉目标检测

STAC从未标记的图像中部署高度自信的局部目标伪标签，并通过强增广一致性来更新模型。

使用有标签的数据训练一个目标检测器直到模型收敛。
使用第一步训练的检测器，预测未标记数据的回归框，使用基于一致性的框过滤器处理预测框，以高阈值保留伪标签。
对无标签数据使用数据增广技术，然后将其与有标签的数据一起输入到第一步的目标检测器进行训练。
使用FasterRcnn作为base，使得使用 Faster R-CNN 进行半监督目标检测需要更高的计算成本，尤其是在处理大规模无标签数据时。所以目前一些对其进行了更新

4、

半监督学习中的一致性正则化（consistency regularization）是一种常见的方法，用于利用未标记的数据来提高模型的泛化能力。它通过鼓励模型在相似输入上产生一致的预测结果，来引入额外的约束。

一致性正则化的基本思想是，对于未标记的数据样本，在输入空间中的微小扰动不应该改变模型的输出结果。换句话说，模型在相似的输入样本上应该具有类似的预测结果。

具体而言，一致性正则化通常通过两个步骤来实现：

1. 生成扰动样本：对于未标记的数据样本，可以通过对其进行随机扰动或应用数据增强技术来生成一些扰动样本。

2. 计算一致性损失：将原始样本和扰动样本输入到模型中，并计算它们的预测结果之间的差异。一致性损失通常使用均方差或交叉熵等函数来度量。

通过最小化一致性损失，可以使模型在未标记的数据上产生更加稳定和一致的预测结果，从而提高模型的泛化能力。一致性正则化可以作为一个额外的项添加到原始的有监督学习目标函数中，也可以作为一个独立的训练阶段来应用。

一致性正则化是半监督学习中的一种重要技术，已经在图像分类、目标检测、语义分割等任务上取得了良好的效果。它可以帮助模型利用未标记的数据来提升性能，并在数据较少或标注成本高昂的情况下发挥重要作用。