深度学习

周老师主题演讲《关于深度学习的思考》
https://mp.weixin.qq.com/s/C5Xq2P5v3lGmFOivJ_PTzw
如今为什么能够使用很深的模型，主要是以下三点：

1. 大量的数据
2. 很强的计算设备
3. 大量的训练复杂模型的技巧

将网络变宽可以增加模型复杂度:
只需一个包含足够多神经元的隐层，前馈神经网络就能以任意精度逼近任意复杂度的连续函数。 【Hornik et al., 1989】
为什么选择将网络做深呢？

为什么深度神经网络取得如此成功：

1. 逐层的处理
2. 特征的内部变换
3. 足够的模型复杂度

“从学术的观点来总结一下，今天我们谈到的深度模型基本上都是深度神经网络。如果用术语来说的话，它是多层、可参数化的、可微分的非线性模块所组成的模型，而这个模型可以用 BP算法来训练。” —-周老师

能够满足上面三点的其他模型同样可以使用，不一定只能是深度神经网络。

深度神经网络有很多不足：

1. 调参
2. 可重复性差
3. 模型的复杂度事先指定
4. 理论分析困难
5. 需要大量数据
6. 黑箱模型等等

深度神经网络不是万能的。它获胜的任务往往在图像、视频、语音这几类。

深度神经网络以外的深度学习方法：深度森林

“以前我们说深度学习是一个黑屋子，这个黑屋子里面有什么东西呢？大家都知道，有深度神经网络。现在我们把这个屋子打开了一扇门，把深度森林放进来了，那我想以后可能还有很多更多的东西。” —周老师