清华、北大、中科大、UMA、MSU五位博士生畅聊深度学习理论

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

伴随着深度学习的蓬勃发展，进入人们视线的好像都是算法或AlphaGo等应用层面的东西。但是在理论上，深度学习似乎却没有很出圈的相关理论。因此，部分人也在批评深度学习是缺乏理论的。我们也希望能通过本次的探讨，进一步明确深度学习在研究什么，同时分享各自对于深度学习理论的一些想法。

2022年10月20日，由国际信息中心主办，AI TIME承办的全球博士思辨“深度学习需要什么样的理论”，特别邀请了来自中科大-微软亚研院联培博士生王博涵、北京大学博士生张博航、密歇根安娜堡分校博士生马鉴昊、清华大学交叉信息研究院博士生滕佳烨、密歇根州立大学博士生毛海涛，与大家一起聊一聊深度学习需要什么样的理论。以下内容为嘉宾的聊天实录。

1

什么样的理论才是好的理论？

滕佳烨：最核心的一点是好的理论一定是符合实际的，即使理论中推导出的一些东西可能不严格满足要求。好的理论应该能去掉其中不重要的部分而保留重要的部分，最终给人们呈现出较好的结果。

王博涵：理论首先应该可以对现实进行好的建模，其次则是输出的结果应该能够指导一些事件。在做理论研究时，深度学习神经网络是一个非常复杂的东西，我们很难将每个东西都弄得很清楚。比如，在审阅理论类型文章的时候，我会先去判断这篇文章是否解决了一个问题；如果问题能够解决，并且结果可以在某种程度上达到我的预期，我就会认为这是个不错的工作。

张博航：针对好的理论要素方面，理论主要有几个目的，如对为什么能够生效提供好的解释。另外一点，理论毕竟是从数学层面研究问题的，因此需要具有较好的抽象性。对于是否是一个好的理论，不仅要看其是否general，还要看它的假设是否合理。好的理论还应去除掉那些不是很重要的繁文缛节，保留其核心部分。无论是优化还是泛化，深度学习中的大多数理论都是提供一种上界或下界的分析。那么好的理论就需要能够同时给出上界和下界并保证二者足够的接近。

马鉴昊：如今深度学习应用到的模型都是非常复杂的，无论是网络结构还是参数数量，更包括一些实际处理的问题。这也就会发展出一种复杂的理论使得解释的现象更加接近于现实。同时，为了发展一个复杂的理论，需要我们有更复杂的数学工具来支撑我们的理论。然而，即便部分理论极为复杂，但