深度学习非凸优化最新研究成果

美国艾尔弗·斯隆基金会（The Alfred P. Sloan Foundation）公布了2019年斯隆研究奖（Sloan Research Fellowships）获奖名单，华裔学者鬲融获此殊荣。现就其研究专业部分进行总结：

鬲融的研究领域为理论计算机科学和机器学习。他在个人主页上写道“深度学习等现代机器学习算法尝试从数据中自动学习有用的隐含表示。那么我们要如何公式化数据中的隐含结构，以及如何设计高效的算法找到它们呢？我的研究就以非凸优化和张量分解为工具，通过研究文本、图像和其他形式的数据分析中出现的问题，尝试解答这些疑问。”

鬲融的研究有三个主要课题：表示学习（Representation Learning）、非凸优化（Non-convex Optimization）以及张量分解（Tensor Decompositions）。此次获得斯隆研究奖，正是基于鬲融在非凸优化方面的研究。根据他本人介绍：“现在机器学习大多使用深度学习算法，这些算法需要通过解决一些非凸优化问题来找到最优的神经网络参数。理论上非凸优化在最坏情况下是非常困难的，但是实际上即使是非常简单的算法（比如梯度下降gradient descent）都表现很好。我最近的工作对于一些简单的非凸优化问题给出了一些分析，可以证明所有的局部最优解都是全局最优解。”

他还补充道：“科研中感觉有些问题一开始看来完全没有头绪，但是有几个特别感兴趣的问题我一般会每隔一段时间再看一下。现在理论机器学习方向发展很快，往往过了一段时间就有很多新的技术可以尝试。其实一开始研究非凸优化的问题是为了解决张量分解的问题（这个是我之前做的研究），但是开始做了之后才发现我们用的工具在很多其他问题中也非常有效。”

不仅此次获奖的研究结论“简单的非凸优化中所有的局部最优解都是全局最优解”对机器学习领域的研究人员们来说是一个令人欣慰的结论，鬲融更多关于别的课题的研究论文也发表在了NIPS、ICML、ICLR等顶级人工智能学术会议上。我们下面列举一些。

• Learning Two-layer Neural Networks with Symmetric Inputs，借助对称输入学习双层神经网络. ICLR 2019. https://arxiv.org/abs/1810.06793

• Understanding Composition of Word Embeddings via Tensor Decomposition，通过张量分解理解词嵌入的成分. ICLR 2019. https://openreview.net/forum?id=H1eqjiCctX

• Stronger generalization bounds for deep nets via a compression approach，通过压缩方式为深度神经网络赋予更强的泛化边界. ICML 2018. https://arxiv.org/abs/1802.05296

• Minimizing Nonconvex Population Risk from Rough Empirical Risk，从粗糙的经验风险中最小化非凸种群风险. NeurIPS 2018. https://arxiv.org/abs/1803.09357

• Beyond Log-concavity: Provable Gu