优秀博士学位论文分享：面向零/少样本场景的弱监督学习方法、应用与实现

​优秀博士学位论文代表了各学科领域博士研究生研究成果的最高水平，本公众号近期将推出“优秀博士学位论文分享”系列文章，对人工智能领域2023年优秀博士学位论文进行介绍和分享，方便广大读者了解人工智能领域最前沿的研究进展。

“博士学位论文激励计划”（原优秀博士学位论文奖）是对博士研究生学位论文的一项重大奖励，由各大学会通过严格评选后颁布。中国计算机学会、中国自动化学会、中国人工智能学会等各大学会每年都会颁布该奖项。该奖项的目的是促进学术研究的卓越性，并鼓励产出高质量的博士论文。博士研究生如果能够荣获该奖项，则表明其学术研究生涯早期的成果受到了很高的认可。

本文主要介绍浙江大学冯良骏博士的研究成果，其博士论文《面向零/少样本场景的弱监督学习方法、应用与实现》在弱监督学习领域取得显著成就。该论文从基本的少样本场景与少标签场景开始，推演到零样本场景，再到最终的任意样本场景，逐步揭示并解决信息缺失下数据集驱动模型的建立的若干关键问题，从而拓展了数据驱动模型在各类弱监督场景下的应用。目前该论文已获得2023年“博士学位论文激励计划”。此外，本文还对其指导老师赵春晖教授及其实验室进行了介绍，以方便读者了解更多相关信息。本文的作者为李杨，审校为黄星宇和邱雪。

一、论文介绍

弱监督学习是机器学习领域的一种关键分支，它通过利用有限、含噪声或未完全标注的数据来训练输入至输出的模型映射参数，与传统的有监督学习形成对比。在弱监督建模领域，研究者们已经提出了多种学习范式来解决这一类问题。其中，针对少样本场景的增量学习（Incremental Learning, IL）、针对少标签场景的半监督学习（Semisupervised Learning, SSL）、针对零样本场景的零样本学习（Zero-Shot Learning, ZSL）以及针对任意样本场景的迁移学习（Transfer Learning, TL）为典型的应用实例。弱监督学习的发展脉络如图1所示。

图1 弱监督学习的发展脉络示意图

1.1  宽网梯度提升系统模型

图2 宽网梯度提升系统的模型结构

该模型结合了加性模型与贪婪优化策略，在手写数字识别任务中不仅达到了与卷积神经网络相媲美的性能，同时还具有高效的训练过程。特别是，宽网梯度提升系统（Broad Network Gradient Boosting System）引入了三种增量学习算法：特征节点增量、输入样本增量和目标类别增量。该模型在面临不同的微调场景时能够迅速更新和扩展，无需从零开始重新训练，有效地解决了使用少样本构建的模型在遇到新数据流时反复训练的时间消耗问题。以手写数字识别任务为例，该模型能够实际减少大约40%至60%的建模时间。

1.2  半监督对抗平滑正则损失

图3 对抗平滑三重回归模型的软测量建模流程

该正则项利用噪声输入来平滑模型在每个输入样本周围的预测，从而提高模型对局部扰动的抵抗力及其泛化性能，有效解决了半监督学习中大量无标签样本所引发的鲁棒性问题。此外，我们将该正则项与设计的三重回归框架进一步整合，形成了对抗平滑三重回归软测量模型，该模型通过将可靠预测作为伪标签来进一步扩展利用无标签样本的训练集。在两个工业过程的软测量应用中，验证了所提出的对抗平滑正则项与对抗平滑三重回归模型的有效性，实际上可降低约7%至10%的预测误差及25%的噪声误差。

1.3  基于语义描述属性迁移的零样本模型

图4 零样本故障诊断基于属性预测的模型框架

该模型首次系统总结并实施了零样本故障诊断任务，探索了在缺乏目标故障样本的情况下对目标故障进行诊断的可能性。此外，提出了利用故障属性作为训练辅助信息，通过属性知识从已知故障迁移到目标故障，并详细分析了这种属性知识迁移的可行性及其理想条件。这一方法有效解决了在零样本零标签情况下目标故障难以建模的问题。在实际的工业故障诊断任务中，该模型即使不使用实际样本，也能达到使用200至400个样本所构建模型的诊断准确率。

1.4  语义精炼对抗生成网络

图5 语义精炼生成对抗网络的结构示意图

该模型分析了在已见类别至未见类别迁移范式中存在的偏差问题，并通过定义匹配函数，首次提出了消除生成器迁移偏差的条件。模型采用了两种语义精炼技巧，即多头语义表示技巧和分层语义对齐技巧，成功实现了偏差消除条件，从而使得针对已见类别的生成器能够有效应用于未见类别，解决任意样本问题。应用于户外场景检测任务，该模型在零样本测试中的准确率提升了约5%至8%，在少样本测试中提升了约5%至10%的准确率。

1.5  基于Python 语言的生成模型代码仓库

代码仓库链接：https://github.com/LiangjunFeng/Generative-Any-Shot-Learning

针对弱监督学习，设计并开源了一个基于Python语言的生成模型代码库，旨在实现任意样本建模的具体应用。该代码库提供了全套的模型结构、特征描述、参数配置和实验设置。所设计的生成模型及针对零样本、少样本问题的一系列典型生成模型均可通过单行代码实现极简化部署。同时，基于户外场景检测任务，通过简单修改模型使用的视觉与语义特征，极大的提升了模型的基准性能，约3%∼15%，揭示了视觉与语义嵌入特征对生成模型与欠数据问题的重要性。

二、个人成果

2.1 学术论文（已发表）

[1]Liangjun Feng, Chunhui Zhao, Xi Li. Bias-eliminated semantic refinement for any-shot learning, IEEE Transactions on Image Processing, vol.31, pp.2229-2244, 2022.

[2]Liangjun Feng, Chunhui Zhao. Transfer increment for generalized zero-shot learning, IEEE Transactions on Neural Networks and Learning Systems, vol.32, no.6, pp.2506-2520, 2021.

[3]Liangjun Feng, Chunhui Zhao. Fault description based attribute transfer for zero-sample industrial fault diagnosis, IEEE Transactions on Industrial Informatics, vol.17, no.3, pp.1852-1862, 2021. (Highly Cited Paper)

[4]Liangjun Feng, Chunhui Zhao, Youxian Sun. Dual attention-based encoder–decoder: a customized sequence-to-sequence learning for soft sensor development, IEEE Transactions on Neural Networks and Learning Systems, vol.32, no.8, pp.3306-3317, 2020.

[5]Liangjun Feng, Chunhui Zhao, YuanLong Li, Min Zhou, Honglin Qiao, Chuan Fu. Multichannel diffusion graph convolutional network for the prediction of endpoint composition in the converter steelmaking process, IEEE Transactions on Instrumentation and Measurement, vol. 70, no.3000413, 2020.

[6]Liangjun Feng, Chunhui Zhao, Philip Chen, YuanLong Li, Min Zhou, Honglin Qiao, Chuan Fu. BNGBS: an efficient network boosting system with triple incremental learning capabilities or more nodes, samples, and classes, Neurocomputing, vol.412, no.28, pp.486-501, 2020.

[7]Liangjun Feng, Chunhui Zhao, Biao Huang. A slow independent component analysis algorithm for time series feature extraction with the concurrent consideration of high-order statistic and slowness, Journal of Process Control, vol. 84, pp.1-12, 2019.

[8]Liangjun Feng, Chunhui Zhao, Biao Huang. Adversarial smoothing tri-regression for robust semi-supervised industrial soft sensor, Journal of Process Control, vol.108, pp.86-97, 2021.

[9]Liangjun Feng, Chunhui Zhao. Adversarial sample based semisupervised learning for industrial soft sensor, IFAC World Congress, Berlin, German, July 11-17, 2020.

[10]Liangjun Feng, Chunhui Zhao, Youxian Sun, Furong Gao, Yao Yuan, Semantic embedding based knowledge transfer for zero-sample industrial fault diagnosis, Chinese Process Control Conference, Kunming, China, July 31-August 2, 2019.

2.2 科研项目（参与）

[1]百万千瓦超超临界机组的精细状态监测、故障诊断与自愈调控关键技术研究，NSFC-浙江省两化融合基金（No. U1709211），2018.01-2021.12，已结题。

[2]攀枝花钢铁集团钢铁冶炼过程终点成分预测，阿里-浙大联合研究院项目，2019.08- 2020.08，已结题。

[3]面向高端发电装备的远程智能运维系统研发及应用，浙江省重点研发项目（No. 2019C01048），2019.01-2021.12，已结题。

[4]基于高级机器学习的船舶核动力系统智能健康管理，热能动力技术重点实验室开放基金资助项目（TPL2019C03），2020.12-2022.11，在研。

[5]国家自然科学基金杰出青年项目：重大装备运行工况智能监控（No. 62125306），2022.01-2026.12，在研。

三、指导老师——赵春晖教授简介

浙江大学赵春晖教授曾荣获众多重要荣誉，包括国家杰出青年科学基金、国家优秀青年科学基金、中国青年女科学家奖、中国自动化学会会士、教育部新世纪优秀人才、浙江省首届青年科技英才奖、首届中国自动化学会青年女科学家奖、浙江省杰出青年基金等。她还被评为教育部课程思政教学名师和教学团队成员。赵教授的研究领域涵盖数据挖掘、机器学习、机器视觉、模式识别以及大数据解析，并广泛应用于智能制造、智慧医疗、智慧能源等多个领域。她在国际权威期刊上发表了200余篇一作/通讯作者的高水平SCI研究论文，出版了3本中文专著，编著了1本中文教材，并获得60余项中国发明专利及1项美国专利授权。如需进一步了解赵春晖教授的详细资料和成就，欢迎访问她的个人主页：https://person.zju.edu.cn/chhzhao#0。

四、实验室介绍——大数据分析与智能监控实验室

大数据分析与智能监控实验室（Big Data Analysis and Intelligent Monitoring Laboratory，BDAIMLab）是浙江大学控制科学与工程学院的一个重要研究机构，由赵春晖教授担任课题组组长。该实验室的研究涵盖人工智能和数据挖掘等多个前沿领域，特别专注于智能监控、机器视觉、知识语义、因果溯源以及云边协同等关键技术领域。此外，实验室拥有丰富的研究资源，积极追踪NIPS、AAAI、MLR等国际顶级人工智能期刊和会议，以及参与多项国内外顶尖数据竞赛。实验室毕业生的就业去向包括华为、阿里巴巴、腾讯、理想汽车和字节跳动等全球知名企业。更多关于大数据分析与智能监控实验室的信息，欢迎访问实验室网页：https://person.zju.edu.cn/chhzhao#647287。