DeepMind 深度学习高级课程，视频已全部放出

 

DeepMind 深度学习高级课程，视频已全部放出

量子位 2018-11-24

DeepMind 深度学习高级课程，视频已全部放出

昨天，DeepMind 兴奋地发推宣告：

我们在伦敦大学学院 ( UCL ) 讲授的课程，现在全部课堂视频都放出来了。

 

课号COMPGI22，名叫高级深度学习和强化学习 ( Advanced Deep Learning and Reinforcement Learning ) ，是今年早些时候结课的。

 

面对这一喜讯，推特上的小伙伴们纷纷马克，奔走相告。

 

DeepMind 发布研究成果的推特，几条加起来可能也不及这一条资源的关注度。

 

一个学期18 节课，老师是 DeepMind 研究负责人兼 UCL 教授 Thore Graepel，与他率领的一众 DM 研究员。

 

课程分为两个部分，互有交叉，在学期的结尾正式汇合：

 

一个部分，是用深度神经网络做机器学习；

另一部分，是用强化学习做预测和控制。

两股溪流，终会以 "深度强化学习" 之名，合为一体：

在强化学习环境里，深度神经网络会以函数逼近器 ( Function Approximators ) 的形象出现。

深度学习部分

 

开始，是简要介绍神经网络和监督学习，用的是 TensorFlow。

 

后面，是卷积神经网络 ( CNN ) ；

递归神经网络 ( RNN ) ；

端到端 ( End-to-End ) 以及基于能量 ( Energy-Based ) 的学习；

优化方法 ( Optimization Methods ) ；

无监督学习 ( Unsupervised Learning ) ；

当然，还会讲到注意力 ( Attention ) 和记忆 ( Memory ) 。

课堂要讨论的应用方向，包括物体识别，以及自然语言处理。

 

强化学习部分

 

这一部分，会涉及马尔可夫决策过程 ( Markov Decision Process ) ；

动态规划 / 动态编程 ( Dynamic Programming ) ；

无模型预测和控制 ( Model-Free Prediction and Control ) ；

价值函数 ( Value Function ) ；

近似 ( Approximation ) ；

策略梯度方法 ( Policy Gradient Methods ) ；

学习与规划的整合 ( Integration of Learning and Planning ) ；

以及强化学习里最重要的，探索未知与利用已知之间的两难抉择。

应用层面的讨论，包括学打经典游戏，和桌游。

 

最终，两个部分完成合体。

 

友情提示：以上两部分是穿插进行，同学们可提前做好心理建设。

这里，是每一节课的主题。

前三节是深度学习，又三节是强化学习。不过再往后，就是一节深度学习、一节强化学习，这样的高频切换了。

 

如果各位刚才没注意，DeepMind 宣布课程喜讯的那条推特，最后一句话是：

 

 

课程视频传送门 ( 梯子必要 ) ：

 

https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs