不定期更新 Web 开发及机器学习相关博客

DML-S2R 旨在通过有效地利用未标记数据和标记数据来学习相似样本的度量空间. DML-S2R 方法由两个主要步骤组成: i) 使用标记数据进行成对相似性建模; ii) 具有大量未标记数据的基于三胞胎网络(Triplet network, 是孪生神经网络的变体形式)的度量学习.

模仿现实师生学习过程, 对传统的 Tri-Training 进行改进, 使用自适应师生阈值, 具有更高的标签质量.

这篇论文将半监督学习应用在词性标注(POS)上, 在当时取得了不错的效果. 不过这篇文章非常简洁, 全部内容只有4页, 是 NLP 领域的顶会 ACL 上的短文. 主要的贡献是对 Tri-Training 进行简单改进, 提出带分歧的 Tri-Training. 由于是当时没人将这种 Tri-Training 引入到 POS 中, 所以这篇文章还能在 ACL 上发表.

民主协同学习(Democratic Co-Learning), 一种单视图半监督技术. 首先在完整的标记数据 L上分别训练每个模型 m_i, 然后模型对未标记的数据 U 进行预测. 如果大于一半的模型 M 同意样本的标签, 则将该样本 {(x_i,c_k)} 添加到 m_i 的训练集中. 重复此过程, 直到不再添加更多样本. 最终预测通过以模型的置信区间加权的绝对多数投票法得出.

Deep Co-Training(DCT), 通过最小化两个网络在 $\mathcal{U}$ 上的预测之间的 JS 散度来模拟 Co-Training 假设. 为了避免 collapsed neural networks, 通过训练对抗样本来施加视图差异约束(View Difference Constraint).

Tri-net 将 tri-training 与深度学习模型相结合. 首先学习三个初始模型, 然后使用每个模型来预测一个未标记数据池, 其中两个模型为另一个模型标记一些未标记实例. Tri-net 中涉及三个关键技术: 模型初始化、多样性增强和伪标签编辑.

标准的协同训练算法需要两个充分且冗余的视图, 每组都足以用于学习, 并且在给定类标签的情况下条件独立. 不过这并不容易实现, 在论文中, 提出了一种新的协同训练风格算法, 称为 Tri-Training. 其不需要冗余的视图, 也不需要使用不同的监督学习算法. 与最开始使用两个分类器的算法相比, Tri-Training 使用三个分类器.

提出了一个半监督回归框架 CoBCReg, 其既不需要冗余独立视图, 也不需要不同的基础学习算法. 现实数据并不总是能被划分为两个冗余的视图, 因此, 与传统的 Co-Training 相比, CoBCReg 基于单视图.

许多 SSL 方法中, 一致性正则化是个非常好的选择, 其优越的效果在 UDA, ICT, VAT 等算法中得到了验证, 不过这种方法十分依赖对数据的特定增强. 除此之外, 另一种基于熵最小化的方法, 即伪标签, 则不需要这种前提, 不过可能出现错误的高置信度预测, 而影响模型整体的效果. 因此, 提出不确定性感知的伪标签选择(UPS)框架, 该框架通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性, 并且在 UPS 中, 可以生成负伪标签(negative pseudo-labels).

对于未标记数据, 选择预测概率最大(或置信度最大)的标记作为样本的伪标记. 然后将带伪标签的数据视作标记数据加入训练集.

在 FixMatch 中, 对所有类别使用预定义的常量阈值来选择有助于训练的未标记数据, 因此无法考虑不同类别的不同学习状态和学习难度, UDA 也是如此. 为解决这个问题, 提出课程伪标签(Curriculum Pseudo Labeling, CPL), 这是一种根据模型的学习状态利用未标记数据的课程学习方法. CPL 的核心是在不同时刻灵活地调整不同类别的阈值.FlexMatch 使用了 CPL, CPL 是一种课程学习(Curriculum Learning)策略, 考虑到半监督学习中不同的学.

受立体匹配(Stereo Matching)中代价聚合(cost aggregation)和 Transformers中 self-attention 的启发, 提出一个聚合模块, 它通过考虑实例之间的相似性来聚合标记和未标记数据的初始伪标签. 为了扩大当前 mini-batch之外的聚合候选者, 利用一个队列来记忆训练期间先前 batch 样本的信息, 从而提高可扩展性. 此外, 文中还提出了一个类平衡的置信度感知队列, 该队列是通过考虑置信度和类分布而构建的, 并使用动量进行更新, 从而鼓励更好的聚合.

在FeatMatch 中, 提出了一种新颖的基于学习特征的细化和增强方法, 该方法可产生各种复杂的转换集. 重要的是, 这些转换使用了通过聚类提取的类内和跨类原型表示中的信息. 这些转换与传统的基于图像的增强相结合, 被用作基于一致性的正则化损失的一部分.

FixMatch 是 SSL 两种方法的组合: 一致性正则化和伪标签. 它的新颖之处在于这两种方法的组合以及在执行一致性正则化时使用单独的弱增强和强增强.

改进了 MixMatch 半监督学习算法, 引入了两种新技术: 分布对齐(Distribution Alignment)和增强锚定(Augmentation Anchoring). 分布对齐鼓励未标记数据预测的边际分布接近真实标签的边际分布. 增强锚定将输入的多个强增强版本输入到模型中, 并鼓励每个输出接近同一输入的弱增强版本的预测.

统一用于半监督学习的主要方法, 以生成一种新算法 MixMatch, 该算法预测数据增强后未标记示例的低熵标签, 并使用 MixUp 混合标记和未标记数据. MixMatch 在许多数据集中获得了先进的结果.

引入了对抗性 dropout(AdD), 可最大限度地提高具有 dropouts 的网络输出之间的差异. 识别出的对抗性 dropout 用于在训练过程中自动重新配置神经网络, 是 Virtual Adverarial Training(VAT)的变种, 原来在 input data 上加对抗干扰, AdD 则是在网络中间层进行对抗性 dropout.

Mean-Teacher 结构中的两个角色是紧密耦合的, 并且耦合程度随着培训的进行而增加. 这种现象导致性能瓶颈. 对此, 提出一种新的模式: 用另一个Student Model 取代 Teacher Model. 这两名 Student 共享具有不同初始状态的相同网络架构并分别更新. 因此, 它们的权重不会紧密耦合, 并且每个人都学习自己的知识. 不过由于两个 Student 互不相同, 添加一致性约束可能会导致两个模型相互崩溃. 因此, 这里定义一个概念: 稳定样本, 并提出了一个稳定约束来实现有效的

提出插值一致性训练(Interpolation consistency training, ICT), 这是一种简单且效率高的算法, 用于在半监督学习范式中训练深度神经网络. 在分类问题中, ICT 将决策边界移动到数据分布的低密度区域.

提出一种基于虚拟对抗损失的新正则化方法, 虚拟对抗性损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性. 与对抗训练不同, VAT 方法在没有标签信息的情况下定义了对抗方向, 因此适用于半监督学习.

在本文工作中, 研究了噪声注入在一致性训练中的作用, 并观察到高级数据增强方法, 特别是那些在监督学习中效果最好的方法, 在半监督学习中也表现良好. 因此, 使用高质量的数据增强方法代替传统的噪声注入方法, 以提高训练的一致性. 为了强调在一致性训练中使用更好的数据增强, 将方法命名为无监督数据增强(Unsupervised Data Augmentation, UDA).

此前的 Temporal ensembling Model 中存在一个问题, 即在每个 epoch 只进行一次 EMA, 因此在学习大型数据集时, Temporal Ensembling 成变得比较笨拙, 且无法实现模型的在线训练. 为了克服这个问题, 文中提出了 Mean Teacher, 能在每个 epoch 中的每个 step 进行模型权重的 EMA. 也就是将原来计算输出向量 $\tilde{z}$ 的过程变成了计算整个网络的参数 $\theta$.

两种自集成的实现: \PiΠ-model, Temporal ensembling

半监督学习(SSL)关注如何通过使用额外的未标记数据来提高学习性能的问题, 然而, 尽管 SSL 取得了成功, 例如 Co-training, FixMatch 等, 但大量的实证研究表明, 利用未标记数据的 SSL 可能会恶化学习性能. 所以本文提出了一种安全预测的半监督学习方法 SAFER.

文献中提出了一种“多方案半监督回归方法(Multi­scheme Semi­supervised regression ap­proach, MSSRA), MSSRA 检验了所有学习器输出的一些明确定义的条件, 并将其决策提供给元学习器以产生最终的预测.

本文提出一种协同训练型半监督回归算法 COREG. 该算法使用两个回归器, 每个回归器为另一个回归器标记未标记的数据, 其中标记未标记示例的置信度通过该示例标记邻域上的均方误差减少量来估计.相比于分类问题，该场景下回归问题的难点在于如何挑选置信度较高的伪标签？分类问题很简单，对于一个样本点，如果分类器输出类别的后验概率足够高，那么就可以认为这个预测是准确的，因而可以将该预测设置为无标签数据的伪标签。但是对于回归问题而言，回归器是没有后验概率这一说法的，所以Coreg的主要贡献就在于给出了评估预测可靠程.

协同训练是一类基于"分歧"的半监督学习方法, 它最初是针对"多视图"数据设计的.