今天讲两篇关于PU-learning的文章
<Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective >
文章开始给出一个图:本文主要研究在给出少量标签的情况下,如何利用无标签样本去做分类的问题,本文给出正样本和负样本的比例,这是一个先验概率,即事先知道的一个大致比例,πP表示。
说明与uPU和nnPU相比,自己设计的Rlab-hat,预测的概率分布更逼近真实值。
这是dist-pu loss的推导过程。
如图所示,在给出的样本中,只有正样本标签和无标签的数据集,然后用深度学习模型去分类,对输出的logit进行sigmoid转化得到一个score即s,如何使得s的分布,即预测的结果逼近真实的概率分布,这是设计dist-pu的motivation。
到这一步,dist-pu的
最终推导的dist-pu loss 的主体部分为hat-R-lab,即公式15。
为了校准其它影响因素带来的偏差,在主体loss的基础上又添加了一些其他loss项,最后的损失函数由四部分组成,即公式23。
实验结果:
实验的数据集为F-MNIST、CIFAR-10和阿尔茨海默症数据集,数据结构达到sota指标。
文章的消融实验和dist-pu loss的超参数的阶梯实验,不讲了,就是证明那些、
、
在什么情况下最优。
结论: