深度学习与神经网络的异同：

1. 相同点：

    二者均采用分层结构，系统包括输入层，隐藏层（多层），输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层都可以看作是一个logistic回归模型。

2. 不同点：

（1）神经网络：

    （a）采用BP算法调整参数，即采用迭代式算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；

    （b）比较容易过拟合，参数比较难调整，而且需要不少的技巧。

    （c）训练速度比较慢。在成熟比较少（小于等于3）的情况下效果并不比其他方法更优；

（2）深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个深层网络（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。