深度学习 发展 优缺点 面试二

经过了几个月，对神经网络的优缺点又做了一些总结：

神经网络的发展经历了3次大的转折。由于早期的计算资源的限制，以及数据量不足，导致前2个时期提出的神经网络，大多规模很小，而且在一定程度上还不如传统的统计机器学习方法，而且神经网络的结构相对简单，因此并没有体现出神经网络的潜在价值。

在07年，hitton提出了利用自编码器来stack by stack的学习图像的表征，然后堆叠起来作为神经网络参数的初始化值，然后在统一采用反向传播算法（BP算法）进行训练，最终准确率有显著的提升。同样的，由于大数据的出现，以及GPU等计算资源的出现，使得深度神经网络的训练得到可能。


神经网络的优点：
（1）由于神经网络天生具备拟合任意复杂函数的特点，因此神经网络你和能力很强，可以做非常复杂的非线性映射。
（2）深度神经网络的参数很多，因此要得到的假设空间维度非常高，有很强大的表征能力。
（3）现代的深度神经网络大多可以用来提取图像，语音，文本的抽象特征，而且提取出来的特征要比人为设定的特定具有更强的泛化性能，可以应用到多个领域。可以学习浅层语义信息，同样可以学习深层语义信息，因此这样便可以自动获取特征。为后面各个不同的任务提供特征。
（4）神经网络通过设计不同的结构，可以改变网络提取特征的方法，同样也可以对拟合目标函数达到不同的效果。其中，从早些时候的Alexnet，到后面的vgg16, vgg19, googlenet, resnet，以及近期提出的