使用信任集利用腐败矩阵提高网络对含噪标签的鲁棒性

腐败矩阵

利用腐败矩阵可以提高模型对含噪标签的鲁棒性。
具体应用如下：
一个带标签数据集中，有一部分信任的数据集$D$，有部分是不信任的数据集$\tilde{D}$，我们的目的是如何用上面标签含噪的数据集训练一个对标签噪声具有鲁棒性的网络。

第一步：估计腐败矩阵

腐败矩阵：就是腐败概率的KxK矩阵，K是类别数。腐败概率就是原本标签是 i,却分类成 j 的概率
$C_{ij}=p(\tilde{y}=j|y=i)$
估计准备：
(1): $$p(\tilde{y}|x,y)\ast p(x|y)=p(\tilde{y}|y)\ast p(x|\tilde{y},y)$$
将（1）式两边同时对x进行积分：
(2): $$\int p(\tilde{y}\mid y,x)p(x\mid y)\mathrm{d}x=p(\tilde{y}\mid y)\int p(x\mid \tilde{y},y)\mathrm{d}x=p(\tilde{y}\mid y)$$
假设y和$\hat{y}$在给定x的情况下条件独立,，则有：
$$p(\tilde{y}\mid y,x)=p(\tilde{y}\mid x)$$
所以（2）式左边就可以看成$p(\tilde{y}\mid x)$的均值。
那$p(\tilde{y}\mid x)$怎么得到呢？
我们可以通过在不信任数据集$\tilde{D}$上训练分类器得到$p(\tilde{y}\mid x)$的近似估计：
(3): $$\hat{p}(\tilde{y}\mid y,x)\approx p(\tilde{y}\mid y,x)$$
然后我们将在不信任数据集$\tilde{D}$上训练分类器得到的分类器$\hat{p}(\tilde{y}\mid x)$作用在信任的数据集上面，就可以得到腐败矩阵的估计值了：
(4): $${\hat{C}}_{ij}=\frac{1}{\left|A_i\right|}\sum _{x\in A_i}\hat{p}(\tilde{y}=j\mid x)=\frac{1}{\left|A_i\right|}\sum _{x\in A_i}\hat{p}(\tilde{y}=j\mid y=i,x)\approx p(\tilde{y}=j\mid y=i).$$
(4)式中$A_i$表示信任数据集中标签为 i 的子集。

第二步 利用腐败标签即腐败矩阵提高网络的鲁棒性

我们初始化模型：$g(x)=\hat{p}(y\mid x;\theta )$
然后用信任集的损失：
$$\ell (g(x),y)onD$$
和不信任集的损失：
(5): $$\ell \left({\hat{C}}^{\top }g(x),\tilde{y}\right)on\tilde{D}$$
解释一下在不信任集上的损失(5)：
(6): $$p(\tilde{y},y)p(y\mid x)=p(\tilde{y}\mid x)$$
由（6）式我们可以看出，虽然不信任集的损失（5）是在不信任标签$\tilde{y}$下训练的，但得到$g(x)$却可以反映真实的预测标签$p(y\mid x)$。
所以我们最终可以得到一个很好的分类模型
$$g(x)=\hat{p}(y\mid x;\theta )$$

论文参考：Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise. 2018 NIPS.