新加坡国立大学李千骁：动力学系统与监督学习的关系探索

2019年10月31日下午，在北京智源大会的“人工智能的数理基础专题论坛”上，学者李千骁做了题为《A Dynamic System Approach To DeepLearning-Approximation,Optimization and Generalization》（即：动力学系统与监督学习中的优化/逼近/泛化的关系探索）的主题演讲。李千骁，新加坡国立大学数学系助理教授，新加坡高性能计算研究院研究员。本次讲座，李千骁从数学中一个非常重要的领域-动力学系统出发，为我们揭开深度学习的优化、逼近以及泛化的面纱，并且为我们展示了他与北京大学、普林斯顿大学、新加坡大学的同事共同研究的成果。以下是智源编辑为大家整理的讲座内容，请大家阅读。

 

整理：钱小鹅

编辑：王炜强

 

背景

众所周知，从样本是否标记我们可以将机器学习分为监督学习和无监督学习。监督学习即输入标记样本，通过这些样本训练得到分类器的参数（或者映射关系），最终我们可以用分类器进行数据的回归和分类。那么，如果我们采用（连续）动力学系统来描述，那么基本的监督学习则可以表示为：

F*：X→Y

其中函数的输入为X⊂R^d（比如：图片，时序信息等），输出为（比如：类别，数值预测值等）。

图1：监督学习典型实例

不妨我们考虑输入-输出为K个样本对{x^i,y^i=F(x^i)}_i^K。我们的目标是使用已知的数据逼近X到Y的映射。我们首先定义假设空间H：

• 回归以及分类的线性模型：

• 浅层神经网络：

• 深层神经网络：

简单来说，训练（学习）的过程即是从假设空间中找到最优解F*来逼近，常用的求解损失函数的风险最小化方法我们介绍以下两大类：

• Empirical risk minimization(ERM)

• Population risk minimization(PRM)

通常情况下，我们想求解的是PRM问题，但是我们只能求解ERM问题，而¯F与F ̃之间的“鸿沟”即为我们常常遇到的泛化问题。

图2：监督学习三个逼近解的关系图释