深度学习理论基础

       深度学习的基础是神经网络，而神经网络在本质上是一种无须实现确定输入输出之间映射关系的数字方程，而仅通过自身的训练学习某种规则，在给定输入值时得到最接近期望输出值的结果。

而人工神经网络（Aritificial Neural Network,ANN）实现其功能的核心是反向传播（Back propagation,BP）神经网络。BP神经网络利用梯度搜索技术使网络的实际输出值和期望值的误差均方差为最小。

BP神经网络算法：

1. 最小二乘法（LS算法least sqaure method）：交替计算使最终结果尽可能逼近真实结果。

2.随机梯度下降算法（stochastic gradient descent，SGD）：通过不停判断和选择当前目标下的最优路径，使得能够在最短路径下达到最优结果。