self-ensemble label filtering
self-ensemble label filtering自集成标签滤波
模型将噪声标签剔除出来,仅对干净的数据训练。
剔除数据
主要思路:模型在训练时,对于那些噪声标签的样本的预测值常常飘忽不定(文章是这么指出的,准备做复现的时候试一试),因此采用信号处理中的滤波,而实现的方法是对模型求均值。
Model ensemble:在训练过程中对模型的参数进行移动平均,当训练数据更新normal model参数时,通过权重的指数移动平均来维护teacher model,同时利用正则项来令两个model尽量保持
原创
2021-01-17 21:12:45 ·
948 阅读 ·
1 评论