优秀博士学位论文分享：通往稳健在线学习的“在线集成”理论与方法

优秀博士学位论文代表了各学科领域博士研究生研究成果的最高水平，本公众号近期将推出“优秀博士学位论文分享”系列文章，对人工智能领域2023年优秀博士学位论文进行介绍和分享，方便广大读者了解人工智能领域最前沿的研究进展。

“CCF博士学位论文激励计划”（原中国计算机学会优秀博士学位论文奖）是一项旨在表彰中国计算机科学领域博士研究生的杰出贡献的激励计划。该奖项的目的是促进学术研究的卓越性，并鼓励在计算机科学及其技术各子学科中产出高质量的博士论文。

本文主要介绍南京大学赵鹏博士的博士论文《通往稳健在线学习的“在线集成”理论与方法》，该论文针对如何建立对数据分布在线变化环境稳健的机器学习理论与方法这一机器学习研究的新挑战，提出“在线集成”学习框架，用以指导稳健在线学习的理论分析与算法设计。目前该论文已获得2023年“CCF博士学位论文激励计划”。此外，本文还对其导师周志华教授以及实验室进行了介绍，以方便读者了解更多相关信息。本文的作者为朱旺，审校为陆新颖和许东舟。

一、论文介绍

传统机器学习方法通常假设学习环境静态不变，然而真实世界环境往往动态变化，因此如何建立对数据分布在线变化稳健的机器学习理论与方法，成为机器学习研究的新挑战。针对这一挑战，论文提出“在线集成”学习框架，用以指导稳健在线学习的理论分析与算法。根据在线学习者与环境交互时收到反馈的不同，论文递进式地考虑在线学习中四类场景，并在该框架下分别提出了相应的在线集成方法。

图1 在线集成框架示意图

图1为在线集成框架示意图。在线集成方法主要包含三部分：基学习器、结合学习器、调度方案。具体而言，整体算法根据调度方案维持多个基学习器，并基于调度方案通过结合学习器集成基学习器的预测作为最终的输出预测。除上述三个模块，还有一些额外规约，规定学习器是否使用乐观量、替代损失等高级的在线学习算法设计工具。

1. 完全信息在线学习

在学习者可以获取每轮在线函数梯度信息的情况下，论文提出了一种创新的在线集成方法。该方法通过合理构建基学习器—结合学习器结构，以自适应重用历史梯度信息，总体方法能够有效应对数据分布变化，并对不同问题实例具有问题相关的性能保障。理论证明了该方法达到了当前动态遗憾界的最优水平，并且通过实验验证了其有效性。

2. 凸赌博机在线学习

对学习者无法获得每轮在线函数梯度信息，只能获得单点/双点函数值信息的情况，论文通过构建替代损失函数以高效利用有限的信息反馈，设计了一种能够应用到赌博机反馈场景的在线集成方法。论文首次建立了凸赌博机在线学习问题的动态遗憾理论，该结果在双点反馈模型已达到理论最优，实验进一步验证了方法的有效性。

3. 带噪赌博机在线学习

对学习者无法获得每轮在线函数梯度信息，只能获得带噪声污染的函数值信息的情况，论文考察线性损失函数，通过最小二乘法估计未知参数并计算上置信界以选择每轮决策，通过周期性重启机制，赋予学习器应对环境动态变化的能力，并进一步设计双层赌博机的串行在线集成结构以自适应选取最优重启间隔。通过理论证明，本论文提出的方法在动态遗憾界上达到了当前最优水平，实验进一步验证了方法的有效性。

4. 决策控制在线学习

对决策控制在线学习这类存在状态转移，学习者决策会影响未来在线函数梯度及函数值信息的情况，论文考察在线非随机控制设定，通过分析问题性质，将其转化为具有记忆的在线凸优化问题，并设计新颖的正则化替代损失，实现了一种具有低转化损失的在线集成方法，从而有效处理决策控制过程中的记忆问题。论文首次建立了针对在线非随机控制问题的动态策略遗憾理论，并通过实验进一步验证了该方法的有效性。

二、指导老师——周志华教授简介

周志华教授是中国计算机科学和人工智能领域的著名学者，尤其在人工智能、机器学习、数据挖掘等领域有着广泛的研究和深厚的影响。他的主要研究方向有集成学习、进化学习、弱监督学习、不平衡学习等。周教授在研究领域内的国际顶级期刊和会议上发表论文两百余篇，总被引用六万余次。此外，他还编写了多部机器学习方面的著作，如《机器学习》、《机器学习理论引导》等，其中《机器学习》是学习AI入门的经典著作，为广大读者打开了人工智能的大门。目前，周志华教授担任南京大学人工智能学院院长，并在多个国际学术期刊和会议担任编委会成员或主席。若想了解更多关于周志华教授的信息，可以访问他的个人主页：https://cs.nju.edu.cn/zhouzh/index.htm。

三、实验室介绍——LAMDA

LAMDA（Learning And Mining from DatA）实验室隶属于计算机软件新技术全国重点实验室，南京大学计算机科学与技术系和南京大学人工智能学院。该实验室位于南京大学仙林校区的计算机科学技术楼，由周志华教授担任负责人。LAMDA 实验室的研究领域包括机器学习、数据挖掘、模式识别、信息检索、演化计算、神经计算等众多热门领域。更多详细信息请访问LAMDA实验室主页：https://www.lamda.nju.edu.cn/。