从AI顶会最佳论文,看深度学习的理论基础

53 篇文章 22 订阅 ¥59.90 ¥99.00
本文探讨深度学习的理论基础,包括表征、优化和泛化问题。研究指出,现有的泛化边界分析可能局限,深度学习的泛化性能存在未解之谜。文章列举了相关顶会论文,如对深度学习泛化能力的质疑、稀疏神经网络的训练理论等,并介绍了计算机视觉研究院的实践与研究方向。
摘要由CSDN通过智能技术生成

欢迎关注“计算机视觉研究院

计算机视觉研究院专栏

作者:Edison_G

如同物理大时代寻求统一的量子力学,深度学习也许也需要一个统一的理论框架。

MIT 教授 Tomaso Poggio 曾在他的系列研究中 [1] 表示深度学习理论研究可以分为三大类:

  • 表征问题(Representation):为什么深层网络比浅层网络的表达能力更好?

  • 最优化问题(Optimization):为什么梯度下降能找到很好的极小值解,好的极小值有什么特点?

  • 泛化问题(Generalization):为什么过参数化仍然能拥有比较好的泛化性,不过拟合?

19 年顶会关于理论的研究

统计数据可见附录A:https://www.jiqizhixin.com/articles/2020-01-01-20。

一般偏算法或模型的论文,阅读起来还是非常友好的,论文会介绍直观想法、形式化过程及最终结果。但偏理论的论文会要求很多领域知识,尤其是坚实的数学基础。文章后面会具体介绍几项代表性研究,但现在,我们还是先看看整体都是什么样的。

有问题的泛化性

论文 [2] 一作 Vaishnavh Nagarajan 说:「之前的研究大多数都基于一致性收敛考虑泛化边界,但我们的研究表明这类问题很可能是局限的。」目前 Rademacher Complexity、Covering Numbers 和 PAC-Bayes 等众多前沿泛化边界分析都可能存在问题。

正如上式所示,即使再精炼,一致性收敛边界可能推导出约等于 1,但真实的泛化差距可能接近于 0。这样的结果是非常虚的,它并起不到什么作用。

VGG-19 在 CIFAR-10 上的测试效果,从左到右分别是迭代 30K、60K、112K 的结果。选自:arXiv:1803.03635。

参考文献:

[1]Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization, arXiv:1908.09375

[2]Uniform convergence may be unable to explain generalization in deep learning, arXiv:1902.04742

[3]The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks, arXiv:1803.03635

[4]Rates of Convergence for Sparse Variational Gaussian Process Regression, arXiv:1903.03571

[5]Neural Ordinary Differential Equations, arXiv:1806.07366

[6]Solving Imperfect-Information Games via Discounted Regret Minimization, arXiv:1809.04040

[7]Nonparametric density estimation & convergence of GANs under Besov IPM losses, arXiv:1902.03511

[8]A Simple Theoretical Model of Importance for Summarization, arXiv:1801.08991

[9]Density estimation by wavelet thresholding, David L Donoho et al.

© THE END 

我们开创“计算机视觉协会”知识星球一年有余,也得到很多同学的认可,我们定时会推送实践型内容与大家分享,在星球里的同学可以随时提问,随时提需求,我们都会及时给予回复及给出对应的答复。

如果想加入我们“计算机视觉研究院”,请扫二维码加入我们。我们会按照你的需求将你拉入对应的学习群!

计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

计算机视觉研究院

长按扫描二维码关注我们

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值