深度学习动力学论文列表：探索神经网络优化背后的秘密

深度学习动力学论文列表：探索神经网络优化背后的秘密

deep-learning-dynamics-paper-list This is a list of peer-reviewed representative papers on deep learning dynamics (optimization dynamics of neural networks). The success of deep learning attributes to both network architecture and stochastic optimization. Thus, deep learning dynamics play an essentially important role in theoretical foundation of deep learning. 项目地址: https://gitcode.com/gh_mirrors/de/deep-learning-dynamics-paper-list

项目基础介绍

本项目是一个开源的深度学习动力学论文列表，由GitHub用户zeke-xie创建和维护。该项目收集了一系列关于深度学习动力学（即神经网络的训练/优化动力学）的同行评审代表论文。项目旨在与更多研究人员共享这些优秀的作品，并共同探索深度学习动力学的奇妙世界。该项目主要以Python编程语言为基础，利用GitHub平台进行文档编写和管理。

核心功能

项目的核心功能是收集和整理深度学习动力学相关的论文，涵盖了以下几个主要方向：

1. 梯度下降（GD）和随机梯度下降（SGD）的学习动力学
2. 动量方法的学习动力学
3. 自适应梯度方法的学习动力学
4. 结合训练技术（如权重衰减、归一化层、梯度裁剪等）的学习动力学
5. 超越标准训练的学习动力学（如自监督学习、持续学习、隐私等）

这些论文不仅提供了对深度学习理论基础的深入理解，而且对于提高深度学习在实际应用中的成功率具有重要意义。

最近更新的功能

项目最近更新的功能主要包括以下几个方面：

• 添加了新的论文条目，包括在顶级机器学习会议和期刊上发表的最新研究成果。
• 对已有论文条目进行了更新，包括修正了一些引用错误和添加了对论文的简要描述。
• 对项目结构进行了优化，使得论文分类更加清晰，方便用户查找和阅读。

这些更新使得该项目更加全面和系统地反映了深度学习动力学领域的最新研究进展，为研究人员提供了宝贵的学习和参考资料。

deep-learning-dynamics-paper-list This is a list of peer-reviewed representative papers on deep learning dynamics (optimization dynamics of neural networks). The success of deep learning attributes to both network architecture and stochastic optimization. Thus, deep learning dynamics play an essentially important role in theoretical foundation of deep learning. 项目地址: https://gitcode.com/gh_mirrors/de/deep-learning-dynamics-paper-list