文献阅读：PNP: Robust Learning from Noisy Labels by Probabilistic Noise Prediction

文献阅读：PNP: Robust Learning from Noisy Labels by Probabilistic Noise Prediction

---

Abstract

论文将提出了PNP(概率噪声预测)来建模标签噪声。
同时训练两个网络，其中一个预测类别标签，另一个预测噪声类型，通过概率预测标签噪声。

---

PNP-Introduction

真实世界数据集中的噪声标签可分为两种类型：开集和闭集。
闭集噪声样本是ID，而开集噪声样本则是OOD。
训练两个网络：
其中一个网络(即标签预测网络)预测输入数据的类别；
而另一个(即噪声预测网络)则预测噪声类型(即干净/ID噪声/OOD噪声)。
根据噪声预测器网络的预测，可以自然地识别干净、ID噪声、OOD噪声样本。

PNP-The Proposed Method-Preliminaries

训练N个样本，C类数据集：D={(𝑥_𝑖,𝑦_𝑖)|1≤i≤N} 𝑦_𝑖∈{0,1}^𝐶
通过最小化经验损失来优化模型：

𝑝^𝑐 (𝑥_𝑖,𝛩)表示第i个训练样本在其第c类上的预测软最大概率

---

PNP-The Proposed Method-Probabilistic Noise Modeling

训练两个并行网络。
第一个网络称为标签预测网络(LPN)，经过训练以预测类别标签：

𝛷_𝐿表示LPN的预测头的参数，𝜓表示主干的参数

训练第二个网络，称为噪声预测网络(NPN)，经过训练以预测噪声类型：

NPN的预测头是一个具有一个隐藏层的多层感知(MLP)网络。
t^((0) ) (𝑥_𝑖 )， t^((1) ) (𝑥_𝑖 )， t^((2) ) (𝑥_𝑖 )是属于clean、ID和OOD集的可能性。

---

PNP-The Proposed Method- Classification Losses for Different Noise

NPN通过估计每个样本干净/ID/OOD的“可能性”，预测每个样本的噪声类型。
对于不同类型的噪声样本，采用不同的损失函数。
对于干净样本，使用交叉熵损失和熵正则化项：

对于分布内/分布外噪声样本，将强和弱增强输入的输出分别视为预测和目标。
对于ID噪声样本𝑥_𝑖 ，将其两个增强视图(即，强增强的𝑣_𝑖^{𝑠和弱增强的𝑣_𝑖}w )加入网络中。
LPN相应地产生预测p( 𝑣_𝑖^𝑠 )和p( 𝑣_𝑖^w )，然后利用这些预测来计算交叉熵损失：

PNP-The Proposed Method- Constraint of Probabilistic Noise Modeling

训练一个额外的预测器(即NPN)来估计每个样本的噪声类型。
遵循Jo-SRC并采用Jensen-Shannon(JS)散度来近似样本𝑥_𝑖干净的概率𝑄^clean：

使用预测散度来估计OOD样本的“似然” 𝑄^𝑜𝑜𝑑

获得真实噪声类型的近似值后，采用以下辅助约束损耗来优化NPN：

PNP-The Proposed Method- Consistency of In-distribution Data

一个训练有素的模型应该一致地预测分布内样本的不同变化，但与分布外数据的变化相反。由于在检测分布外样本时使用预测发散，对分布内数据施加一致性正则化损失:

一致性正则化不仅隐式地增强了表示学习，而且显式地使模型能够更好地区分ID噪声和OOD噪声。

---

PNP-The Proposed Method- PNP-hard and PNP-soft

算法以两步方式训练。从预热期开始，网络通过优化等式(1)，使用原始噪声标签进行训练。这一步骤提供了一个合理的模型，用于后续学习。
预热步骤后通过端到端优化以下目标损失函数来开始PNP训练：

评估了两种样本选择范式：硬选择和软选择。根据硬样本选择的思想，PNP-hard对不同类型的样本采用不同的损失函数：

PNP-soft采用软样本选择，根据噪声类型的预测重新加权损失：

---

Experiments

硬选择(PNP-hard)只有在噪声情况不明显时才能获得更好的结果。

PNP-soft比PNP-hard更能抵抗复杂的噪声标签。

该数据集还包含大量带噪标签。
PNP在大规模现实应用中有效地减轻了噪声标签。

通过采用PNP-soft、PNP-hard ，噪声样本上的过度拟合得到显著抑制。
PNP-soft具有更强的阻止网络过度拟合噪声样本的能力。