半监督学习概述

半监督学习与其他学习的区别

相比于监督学习通常用于回归任务，无监督学习常用于分类任务。半监督学习是可以利用少量有标签的样本和大量无标签的样本来训练模型的。（无监督学习就相当于神经网络也不知道需要输出什么样类型的结果，只能够尝试寻找到输入数据之间的共同点，监督学习就是有标准答案的一种训练，得到的模型就是需要它输出正确的答案，用来代替我们人的判断能力）
实际上，就是不需要大量有标记的数据，不需要人为的去花费大量的时间和精力来标记数据，但是最终我认为我们需要通过半监督学习来达到有监督学习的效果。

半监督学习中常见的方法

一致性正则化（Consistency Regularization）

一致性正则化（Consistency Regularization）是一种在机器学习中用于提高模型泛化能力的正则化方法。它通过鼓励模型在输入数据的微小扰动下产生一致的预测输出，从而减少模型对于输入中噪声和不相关变化的敏感性。

在深度学习中，模型通常会对于输入数据在一定程度上具有不变性，即对于输入的微小变化，模型的输出应该保持稳定。然而，在真实世界的数据中，存在着许多噪声、变形、干扰等因素，这些因素可能影响模型的泛化能力。而一致性正则化的目标就是通过约束模型在扰动输入下的输出一致性，来提高模型的鲁棒性。

一种常见的实现一致性正则化的方法是使用无标签数据。通过扰动输入数据，可以生成一组与原始数据相似但略有变化的新样本，然后利用原始样本和这些扰动样本来训练模型。在训练过程中，一致性正则化通过最小化原始样本和扰动样本之间的预测差异来鼓励模型输出的一致性，从而提高模型的鲁棒性。

一致性正则化已被广泛应用于图像分类、目标检测、语音识别等任务中，并显示出对于提高模型的泛化性能和对抗性鲁棒性具有有效的效果。

伪标签（pseudo label）

伪标签半监督学习（Pseudo-label semi-supervised learning）是半监督学习的一种方法。在传统的监督学习中，我们需要拥有标记的训练数据来训练模型。而在半监督学习中，我们同时可以使用标记和未标记的数据来进行模型训练。

伪标签半监督学习的基本思想是，首先使用一小部分有标记的数据进行模型的初步训练。然后，使用这个训练好的模型对未标记的数据进行预测，生成伪标签。将伪标签与原本的有标记数据合并，形成一个扩充的有标记数据集，然后再次使用扩充的有标记数据集进行模型训练。这个迭代的过程可以多次进行，每次都会生成新的伪标签和扩充的有标记数据集，模型也会逐渐得到改进。

伪标签的生成是通过模型预测未标记数据的类别或标签，并将这些预测结果作为伪标签。在每次迭代中，未标记数据集的一部分会被标记化，然后与原有的有标记数据集合并，形成新的训练数据集用于更新模型。

伪标签半监督学习的优势在于可以利用未标记数据的信息来提升模型的性能，尤其在标记数据稀缺的情况下表现良好。然而，伪标签的准确性对模型的影响很大，如果伪标签产生的错误较多，可能会导致模型过度自信或出现错误训练。因此，在使用伪标签半监督学习时，需要仔细选择合适的阈值和准确性估计方法，以提高伪标签的可靠性和模型的泛化能力。

生成对抗网络

生成对抗网络（GAN）是一种机器学习模型，由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。

生成器接受一个随机噪声作为输入，并通过一系列变换生成伪造的数据样本。例如，在图像生成任务中，生成器可以将随机噪声输入转换为逼真的图像。

判别器是一个二元分类器，用于区分真实数据样本和生成器生成的伪造数据样本。它接收一份数据样本作为输入，并输出一个概率，表示该样本是真实数据的概率。

GAN的训练过程是通过生成器和判别器之间的博弈来实现的。生成器的目标是生成尽可能逼真的伪造数据，以欺骗判别器，使其将伪造数据误分类为真实数据。而判别器的目标是尽可能正确地判断输入数据的真实性。

通过反复迭代训练生成器和判别器，GAN模型可以逐渐提高生成器生成样本的质量，使其越来越难以被判别器识别出来。最终，生成器可以生成与真实数据相似甚至更好的数据样本，具有广泛的应用，如图像生成、音频生成、文本生成等。

else

还有很多，例如图生成模型，主动学习，协同训练等等。

但是现在比较好了解以及研究比较多的是前两种方法。实际上方法很多，最终的目的还是向我们开头说的为了训练出和有监督学习一样效果（一样做不到，但是也可以做到很好效果）的训练模型。
所以基于训练模型的方法有很多，最终都是通过各自的方法优化得到效果好的模型。

协同训练，利用两个（多个）数据集训练两个（多个）模型，分别用对方的预测结果进行训练，然后相互提高！
主动学习，需要人对机器得到的结果进行在处理，然后再训练，再人为帮助，如此循环。模型需要向外获取知识，就像人的主动学习一样的过程。

总结区分

一致性正则化就是给样本增加扰动，再进行训练。结果需要满足聚类假设，平滑假设。增加扰动的样本得到的预测结果必须和原本的预测结果相差不大。（其中的很多细节是可以运用不同的方法，这样也就可以诞生不同的方法）
伪标签中，会对未标记的样本利用训练模型得到伪标签，然后再利用伪标签对模型进行训练。与上面的相同，里面的细节也是可以使用不同的方法的，利于再Gentle Teacher Assistant这种方法中，重点在于伪标签不是直接训练student模型的，而是使用GTA来过滤，再把参数（编码器的那一部分参数）传递给student模型。（其实对于teacher-student这样的训练方法也可以看作是协同训练啊，所以这些方法之间是相互包含的，只需要达到我们的最终目标就可以了）

所以在这里我只是简单梳理了一下半监督学习中最重要的内容，就是它基于训练模型的方法，在这个基础上就可以去看半监督学习相关的在图像领域的论文了，然后对比一下点云里面的所运用到的方法。（我估计图像中用到的半监督学习的方法也会是对这样一些主流方法的改进，从而形成新的方法）