基于一致性的半监督学习用于诊断x线片分类

Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification

摘要

1. 结合半监督和主动学习方法的优点进行多标签医学图像分类
2. 提出了一种新的基于一致性的半监督证据主动学习框架(CSEAL)
3. 利用基于证据理论和主观逻辑的预测不确定性，开发了一种端到端集成方法，将基于一致性的半监督学习与基于不确定性的主动学习相结合。
4. 增强四种领先的基于一致性的半监督学习方法:伪标签、虚拟对抗训练、Mean Teacher和NoTeacher。
   对多标签胸部x射线分类任务的广泛评估表明，CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。
   此外，对结果的分类分解表明，我们的方法可以在标记样本较少的情况下显著提高罕见异常的准确性。

方法

CSEAL框架：
对输入图像x进行增广η1和η2，生成x1和x2。在计算有监督证据损失和一致性证据损失之前，将这些输入参数化网络F1和F2。向前和向后传播分别用实线和虚线箭头表示。

计算每个未标记图像的任意不确定性(AU)分数，以优先考虑它们的注释。CSEAL在这里展示了3种最新的基于一致性的半监督学习方法的证据类似物，即基于证据的虚拟对抗训练(eVAT)， Mean Teacher (eMT)和NoTeacher (eNoT)。
在ePSU的情况下，由网络F1推断的伪标签被用于未标记样本的监督证据损失

Evidential-based Semi-supervised Learning

给定训练图像x，对训练图像应用变换函数η1和η2，分别生成增广样本{xL1, xU1}和{xL2, xU2}。我们应用两个神经网络F1和F2从相应的增广输入生成输出。
受基于证据的不确定性估计工作的启发，我们假设伯努利变量p1和p2具有β分布形式的先验，分别参数化为τ1 = [α1， β1]和τ2 = [α2， β2]。我们使用来自网络的输出对数来计算证据，并使用τ = e x p (f) + 1估计τ1和τ2，其中f被限制为[-10,10]。与标准的神经网络分类器不同，其输出被压缩成概率分配(或类预测器)，即P (y = +) = P +， CSEAL使用网络输出来参数化Beta先验，它表示每个可能的概率分配的密度。因此，CSEAL对二阶概率和不确定性进行了建模。Beta先验还可以估计任意不确定性，这将在下一步讨论。

在推理时，将每一类的预测概率计算为Beta分布的均值，在这里，“证据”一词是指从数据样本中获得的支持积极或消极预测的数量。随后，我们将半监督损失定义为类预测器的函数，并计算其贝叶斯风险Beta分布先验。此外，还包括Kullback-Leibler (KL)散度项，以惩罚具有高不确定性的预测。
CSEAL的一般损失是:

其中λt = min(1.0, t /10)为前t次的自适应正则化系数。监督损失项Lerr(y, p)和Lvar(p，τ)源于y和p之间的平方误差的贝叶斯风险。Lreg(τ， y)是使用KL散度进行正则化的结果。(可选的)一致性项Lcons(p1, p2)只在两个独立网络的输出之间计算
当CSEAL应用于SUP(监督学习基线)、PSU和VAT时，采用单网络架构，并放弃第二个网络F2
当应用于MT和NoT时，CSEAL采用两个独立网络的完整形式。我们现在描述LCSEAL(x, y)如何适用于不同的基于参数化一致性的半监督学习模型

• ePSU:我们从Beta分布的均值中推断伪标签。

• eVAT:我们优化了未标记样本上的类别预测器与其对抗性样本之间平方误差的贝叶斯风险。

• eMT:我们采用学生的class预测器与ema更新的教师网络之间的平方误差的贝叶斯风险，而不是各自的Beta分布先验。

• eNoT:我们优化对数似然中平方误差项的贝叶斯风险，而不是它们的Beta分布先验。

Evidential-based Active Learning

为了促进主动学习，我们计算了任意不确定性(AU)，因为之前的研究表明，在证据图半监督学习bb0中，任意不确定性比认知不确定性(或模型不确定性)更有效。我们估计每个类别的AU为类别预测器p的期望熵，给定其Beta分布，如下所示: