5. 2020年《DeepMind＆UCL深度学习讲座》第5讲：机器学习的优化【中文字幕】

2020年《DeepMind＆UCL深度学习讲座》第5讲：机器学习的优化【中文字幕】

优化方法是使神经网络能够从数据中学习的基础引擎。在本讲座中，DeepMind研究科学家James Martens讨论了基于梯度的优化方法的基础知识及其在训练神经网络中的应用。主要主题包括梯度下降，动量方法，二阶方法和随机方法。 James通过局部二阶近似的解释框架分析了这些方法。

在此处下载幻灯片：
https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L5%20-%20UCLxDeepMind%20DL2020.pdf

在此处了解有关DeepMind如何增加科学获取机会的更多信息：
https://deepmind.com/about#access_to_science

演讲者简介：

James Martens是DeepMind的研究科学家，致力于深度学习的基础知识，包括优化，初始化和正则化。在此之前，他在滑铁卢大学（University of Waterloo）获得理学士学位，并在Geoff Hinton和Rich Zemel的协助下在多伦多大学获得了硕士学位和博士学位。在博士期间，他展示了如何使用纯优化方法（现已成为标准方法）有效地训练深度网络，从而激发了人们对深度神经网络训练的兴趣。

关于讲座系列：

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中，深度学习已发展成为领先的人工智能范式，使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别，语音识别，语音合成，预测，科学计算，控制等问题。由此产生的应用程序触动了我们在医疗保健和医学研究，人机交互，通信，运输，保护，制造以及许多其他人类努力领域中的一生。认识到这一巨大影响，深度学习的先驱获得了2019年图灵奖，这是计算机领域的最高荣誉。

在本系列讲座中，来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座，内容涵盖了通过围绕记忆，注意力和生成建模的先进思想来训练神经网络的基础知识，以及重要的负责任的创新主题。