论文笔记 —— 《Self- ensembling for visual domain adaptation》

论文笔记 —— 《Self- ensembling for visual domain adaptation》

核心

Laine & Aila

1. 大Pi模型 ：将每个未标记的样本通过一个分类器两次，每次使用不同的衰减、噪声和图像转换参数。它们的无监督损失是由每一个样本的两个表示所产生的类概率预测的平方差的平均值。
2. 时间模型：维护了历史网络预测的准确性，并鼓励后续预测与平均值保持一致。

Tarvainen & Valpola

3. 进一步改进了Laine&Aila（2017）的时间模型，使用网络权重的指数移动平均值，而不是类预测。
4. 他们的方法使用了两个网络：学生网络和教师网络

• 学生在其中接受梯度描述和重量的培训，每个人都能获得学生的水平。用于训练学生的无监督损失是在不同的辍学、噪声和图像平移参数下，学生和教师预测值的均方差。
  
  学生网络使用梯度下降进行训练，而教师网络的权重是学生网络的指数移动平均值。在训练过程中，每个输入样本XI都通过学生和教师网络，生成预测的类概率向量ZI（学生）和子ZI（教师）。不同的衰减、噪声和图像转换参数适用于学生和教师路径。