深度学习简介（三）

 

分布式表示的优势

学习一组不互斥的参数特征比具有最近邻类或簇状的模型的效率高。如下图所示：

可无需看见其它大量的特征配置而发现每一个特征。

深度学习：自动化特征发现

Why does it work? No Free Lunch

1.只有我们在对数据生成分布做一些假设时，它才有效。

2.糟糕的分布仍需要大量数据。

3.我们可以探索世界的一些结构来获得指数增长。

4.具有分段线性激活的深度网络的表达函数：深度的指数优势（Montufar等，NIPS 2014）

5.具有深度L和每层具有ni单元的网络的区分件数至少是

或者，如果隐藏层的宽度为n，输入的大小为n0