李宏毅ML lecture-11 why deep

这节课主要将深度学习的深度是如何体现的.

Seide, Frank, Gang Li, and Dong Yu. “Conversational Speech Transcription Using Context-Dependent Deep Neural Networks.” Interspeech. 2011.

如图所示,同样参数规模下,模型越深效果越好!
李弘毅老师是这样认为的:
同样效果下DeepLearning 所需的参数更少,所以所需的数据更少!
与我们的常识AI=Big Data+DeepLearning 相反.
但是我觉得"同样效果下"这个前置条件,很有意思.当DeepLearning 达到以往机器学习算法的效果时,他所需的参数以及数据是更少的,但是我们的目标是追求最好的效果,所以不断的增加深度,也就是增加参数,所以需要的数据更多.这个就是目前我们的错觉.

Deep → Modularization

The modularization is automatically learned from data.
Deep 表示模组化(Modularization)

电路

窗花

End-to-end Learning

处理复杂的问题—语音问题

端到端生产线由一组简单的function组成

使用Deep Learning 的理由

完成复杂的任务

1. 输入相似的data,输出不同的feature
2. 输出不相似的data,输出相同的feature

learning more

Deep Learning: Theoretical Motivations (Yoshua Bengio)
http://videolectures.net/deeplearning2015_bengio_theoretical_motivations/
Connections between physics and deep learning
https://www.youtube.com/watch?v=5MdSE-N0bxs
Why Deep Learning Works: Perspectives from Theoretical Chemistry
https://www.youtube.com/watch?v=kIbKHIPbxiU