深度学习一些基本定理与概念

定义1： 深度学习是利用多个非线性信息处理层，来完成监督或者无监督的特征提取和转化，用来解决回归或分类问题。

定义2： 深度学习是一种通过多层表示来对数据之间的复杂关系建模。高层的特征取决于低层的特征和概念。

定义3： 相同的神经元个数下，更深的网络结构能表现出更强的拟合性能。

 

深度学习的一些缺点：

1. 深度学习使用的函数簇是相当复杂的，所以深度学习算法缺乏保证。

但是限制函数满足Lipschitz连续或函数导数满足Lipschitz连续，可以获得更好的保证。