直播 | 复旦大学许燚：少量标注样本场景下基于数据编程的半监督分类

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到复旦大学博士生许燚，为大家在线解读其发表在 NeurIPS 2021 的最新研究成果：DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples。对本期主题感兴趣的小伙伴，11 月 30 日（本周二）晚 7 点，我们准时相约 PaperWeekly 直播间。

直播信息

标注数据的稀缺性是深度学习的一个关键障碍。半监督学习则是以给未标注数据生成伪标签的方式为这一问题提供了一种有效的解法。然而，当标注数据的量较小时，比如每个类只有几个样本时，由于生成的伪标签的质量不可靠，半监督学习的表现不佳并且效果不稳定。

在本文中，我们提出了一种基于数据编程 (Data Programming) 框架来为未标注数据生成概率标签的半监督分类方法。与现有的数据编程方法需要人为设计标记函数 (Labeling Function)不同的是，我们采用了一套基于多选择学习 (Multiple-choice Learning) 的半监督策略来自动生成标记函数。考虑到标记函数中产生的噪声标签，我们设计了一个标记模型 (Label Model) 来解决其中的冲突与重叠，从而为未标注的样本提供概率标签用于后续的训练。

在四个基准数据集上的大量实验结果表明，我们的方法可以为未标注的数据提供可靠的概率标签，而以此为基础训练的模型在测试集上也具备了比现有半监督分类方法更好的性能。尤其是在少量标注样本可用时，例如在 CIFAR-10 上只有 40 个标注样本时（每个类别 4 个），我们的方法在未标注的数据上达到了 93.82% 的标注准确率，在测试集上达到了 93.46% 的分类准确率，高于现有 SOTA 结果。

论文标题：

DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples

论文链接：

https://arxiv.org/abs/2110.13740

本次分享的具体内容有： 

• 半监督分类在样本较少时面临的问题

• 半监督分类以及数据编程的相关工作

• 基于数据编程的半监督分类的基本框架和方法

• 多个数据集的实验结果及伪标签质量分析方法

• 总结与展望

嘉宾介绍

 许燚 / 复旦大学博士生 

许燚，复旦大学博士生在读，导师为周水庚教授。主要研究方向为视频理解，半监督以及弱监督学习，在 NeurIPS, CVPR, ICCV, AAAI, MM, EMNLP 上发表过相关论文。

直播地址 & 交流群

本次直播将在 PaperWeekly 视频号和 B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

视频号直播间：

扫描下方二维码关注 PaperWeekly 视频号，第一时间获取开播提醒。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·