半监督学习之softmax+锐化预测

2021SC@SDUSC

首先在数据增强的基础上引入半监督学习：

 文本数据增强的方法，无论一个样本经过同义词替换，还是回译，还是随机交换词语的位置生成多个样本，其实人还是能判断出这几个样本来源同一个句子，从这个角度出发，数据增强带来的效果有限，想想假如训练集只有100条样本，无论你怎么做增强，本质上，样本的来源其实就是那100条，这样模型训练出来的效果也有限。这时候，就体现出半监督学习的重要性，如何把海量的无标注数据纳入进模型训练。

思想很简单，对于标注好的样本一样用交叉熵作为损失函数，对于没标注的样本，则用Consistency Loss。

一致性损失的思想就是增强后的样本与原来的样本语义相同，这是模型输出的概率就应该保持一致，而海量的无标签数据进行数据增强处理后则会得到所有输入空间受到一定扰动的大量样本数据，这些数据与有标签数据进行联合训练将大大增强模型的鲁棒性。

其次便是softmax归一化的介绍：

归一化的好处：

1.一定程度提高模型精度
在机器学习或者深度学习中，大多模型的loss计算，需要假定数据的所有特征都是零均值并且具有同一阶方差的。这样在计算loss时，才能将所有特征属性统一处理。
比如，在KNN中，我们需要计算样本之间的欧式距离，如果样本两个属性的量纲差距过大，则大量纲的属性在距离计算中就占据了主导地位。而现实中，可能恰恰相反。所