教会你的机器学习模型实现自我学习，看完这一篇就够了！（含代码）

最新推荐文章于 2025-04-30 12:16:37 发布

AI Agent开发

最新推荐文章于 2025-04-30 12:16:37 发布

阅读量1.2k

点赞数 22

文章标签：机器学习学习人工智能 AI大模型大模型 AI LLM

本文链接：https://blog.csdn.net/m0_56255097/article/details/142341523

版权

在机器学习中，数据越多，结果越好。但标记数据可能既昂贵又耗时。如果我们可以使用通常很容易获得的大量未标记数据，会怎么样？这就是伪标记派上用场的地方。

我对 MNIST 数据集进行了案例研究，并通过应用基于置信度的迭代伪标记将我的模型的准确率从 90% 提高到了 95%。本文详细介绍了伪标记是什么，以及实验中的实用技巧和见解。

一、它是如何工作的？

伪标记是一种半监督学习。它弥补了监督学习（所有数据都带有标记）和非监督学习（没有数据带有标记）之间的差距。

遵循的具体程序如下：

我们从少量标记数据开始，并在其上训练我们的模型。
该模型对未标记的数据进行预测。
我们选择模型最有信心的预测（例如，置信度高于 95%），并将它们视为实际标签，希望它们足够可靠。
我们将这些“伪标记”数据添加到我们的训练集中并重新训练模型。
我们可以重复这个过程几次，让模型从不断增长的伪标记数据池中学习。

虽然这种方法可能会引入一些错误的标签，但好处来自于训练数据量的显著增加。

二、伪标签真能起作用吗？

模型从自身预测中学习的想法可能会引起一些人的怀疑。这种担忧是有道理的。如果一个模型仅仅依赖于它自己可能有缺陷的预测，它就有可能陷入自我强化的循环，就像被困在回音室里的人只能听到自己信念的反馈一样。

那么，伪标签真的能有效而不落入这个陷阱吗？

答案是肯定的。你可以想象一个铁匠在各个时代不断进步。他从基本的石器（最初的标记数据）开始。他利用这些材料从原矿石（未标记数据）中锻造出粗糙的铜工具（伪标签）。这些铜工具虽然还很初级，但可以让他完成以前无法完成的任务，最终创造出由青铜、铁等材料制成的工具。这个迭代过程至关重要：你不能用石锤锻造钢剑。

就像铁匠一样，在机器学习中，我们可以通过以下方式实现类似的进步：

严格的阈值：模型的样本外准确度受正确训练标签份额的限制。如果 10% 的标签是错误的，模型的准确度不会显著超过 90%。因此，尽可能少地允许错误标签非常重要。
可衡量的反馈：不断评估模型在单独测试集上的性能，作为现实检查，确保我们取得实际进展，而不仅仅是强化现有的错误。
人机互动：以人工审核伪标签或人工标记低置信度数据的形式纳入人工反馈，可以提供有价值的路线修正。

伪标记如果做得正确，可以成为充分利用小型标记数据集的强大工具，正如我们将在以下案例研究中看到的那样。

三、案例研究：MNIST 数据集

我在 MNIST 数据集上进行了实验，这是一个经典的 28 x 28 像素手写数字图像集，广泛用于对机器学习模型进行基准测试。它由 60,000 张训练图像和 10,000 张测试图像组成。目标是根据 28 x 28 像素预测所写的数字。

我在一组初始的 1000 张带标签的图像上训练了一个简单的 CNN，留下 59000 张未标记的图像。然后，我使用训练后的模型来预测未标记图像的标签。置信度高于某个阈值（例如 95%）的预测连同它们的预测标签一起添加到训练集中。然后，在这个扩展的数据集上重新训练模型。这个过程反复重复，最多十次，或者直到没有未标记的数据。

使用不同数量的初始标记图像和置信度阈值重复此实验。

四、结果

下表总结了我的实验结果，比较了伪标记与完整标记数据集上的训练的性能。

即使初始标记数据集很小，伪标记也可能产生显著的效果，将 1000 个初始标记样本的准确率提高 4.87%。当仅使用 100 个初始样本时，这种效果甚至更强。但是，手动标记超过 100 个样本是明智的。

有趣的是，使用 100 个初始训练样本的实验的最终测试准确率超过了正确训练标签的份额。

与第一次迭代相比，每次迭代的准确度改进（y 轴）与阈值（x 轴）的差异（颜色）。阈值越高、迭代次数越多，改进效果越好，趋势明显。

按阈值计算的正确训练标签份额和每次迭代的总训练数据点数。阈值越高，标记越可靠，但标记速度越慢。

按阈值进行每次迭代的高置信度和低置信度预测的准确率。阈值越高，准确率越高，但每次选择阈值时，准确率都会随着时间的推移而降低。

与第一次迭代相比，每次迭代的准确率提升幅度与阈值相比分别为 100 和 10000 个初始标记的训练样本（左和右）。请注意不同的尺度。

从上图可以看出，一般来说，只要至少有一些预测超过阈值，阈值越高，结果就越好。在未来的实验中，人们可能会尝试在每次迭代中改变阈值。

此外，即使在后续迭代中，准确率也会提高，这表明迭代性质确实带来了好处。

五、主要发现和经验教训

当未标记数据很多但标记成本高昂时，伪标记最适合使用。
监控测试准确率：在整个迭代过程中，密切关注模型在单独测试数据集上的表现非常重要。
手动标记仍然有用：如果您有资源，请专注于手动标记低置信度数据。但是，人类也不是完美的，出于良心，高置信度数据的标记可以委托给模型。
跟踪哪些标签是 AI 生成的。如果以后有更多手动标记的数据可用，您可能希望丢弃伪标签并重复此过程，以提高伪标签准确率。
解释结果时要小心：几年前我第一次做这个实验时，我专注于剩余未标记训练数据的准确率。随着迭代次数的增加，准确率会下降！但是，这可能是因为剩余数据更难预测——模型在之前的迭代中从未对其有信心。我应该专注于测试准确率，这实际上会随着迭代次数的增加而提高。