深度学习常见问题小结

1. 深度学习的本质

首先深度学习也是机器学习的一个分支，深度学习是基于神经网络的一种建模方法。深度学习的本质是通过构建具有很多隐藏的机器学习模型和海量的训练数据来学习更有用的特征，从而到达提高分类性能和预测的准确性。

2. 深度学习的目的

深度学习通过模拟人脑进行分析学习的神经网络，神经网络模拟人脑的机制来解释数据例如：图像、声音、文本等

3. 反向传播推导

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：

（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；

（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；

（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

推导过程：如图是一个全连接的神经网络

（4）先定义一些变量：

表示第层的第个神经元连接到第层的第个神经元的权重；

        表示第层的第个神经元的偏置；

        表示第层的第个神经元的输入，即：