对于很多机器学习、深度学习的爱好者来说,都受惠于台湾大学的李宏毅教授的教学视频。他的教学风格轻松幽默且教学质量非常高。
李宏毅教授的个人主页:
http://speech.ee.ntu.edu.tw/~tlkagk/index.html
李宏毅教授的教学视频:
http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
今天给大家推荐并解读一份李宏毅老师整理、发布的深度学习优质资源,这份资源是李宏毅老师在 2016 年台湾资料科学年会上发布了一个前导课程“一天搞懂深度学习”。全部讲义包含 300 页 PPT。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。
这份 300 页的 PPT,被搬运到了 SlideShare 上,下面是 SlideShare 的链接:
《一天搞懂深度学习》主要对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现,通俗而且易懂。
整体结构如下图所示:
作者主要从以下四个方面进行介绍:
- 第一部分:介绍深度学习
- 第二部分:深度神经网络的建议
- 第三部分:神经网络的多样性
- 第四部分:未来趋势
下面对四个部分做简单介绍!
1. 第一部分:介绍深度学习
第一部分主要从 3 个方面来介绍深度学习,包括:深度学习的简介、为什么“深度”、深度学习的“Hello World”。这部分主要讲解了深度学习的很多基本知识点和深度学习训练过程,同时介绍了知名的深度学习框架 Keras, 最后使用 Keras 进行 MNIST 手写数字识别。
2. 第二部分:深度神经网络的建议
这部分主要介绍的是深度学习的训练步骤及其方法:过拟合、激活函数等。如何优化梯度下降算法?方法包括 Momentum、Adam、Dropout、Early Stopping、Regularization 等等。这些是深度学习中最核心的知识点。
3. 第三部分:神经网络的多样性
这部分主要介绍神经网络中两个重要的分支:卷积神经网络和循环神经网络。CNN 在机器视觉方面发挥着相当重要的作用,RNN 在自然语言处理方面的作用也越来越明显了。
4. 第四部分:未来趋势
这部分主要介绍了深度学习未来的发展趋势,包括监督式学习中的超深度网络、注意力模型,强化学习和非监督式学习在图像、文字、音频等方面的进展。
例如在 2015年出现了152 层的 Residual Net 实现了图片 3.57% 错误率。
评价:
《一天搞懂深度学习》可以说是入门深度学习最好的学习资料之一。究其原因如下:
- 李宏毅老师研究深度学习并对深度学习有了很深入的理解,能够把深度学习比较深的技术和原理能用浅显的语言描述,让读者看在眼里,明白在心里。
- 阅读李宏毅教授的这些资料,不感觉枯燥,主要原因是把很多抽象的数学公式具体化了、形象化了。
- 李宏毅教授是个非常严谨的学者,整体内容丰富,非常立体化,非常系统。
资料获取
那么这份 300 页的 PPT 有没有离线版的呢?