[概念]神经网络相关

1.神经网络：带有成千上万个参数的分层的大型数学公式，从每一层传播到下一层时呈全连接结构，参数为连接强度（强度大，关联大）和偏移量，经过几层映射后从原始数据到最终的结果。{例：从手写数字识别中，从700多个像素点的图像，到0-9的10个点的输出层，输出信号为这个数字是几的判断}

2.模型训练：根据样本期望的输出，以及模型得到的真实输出比较，调整神经网络每相邻两层映射间的参数。{例：手写数字识别中，代价为一组数据中，每个数据，预测每个数字时，p(xi)和{0或1}的差值的平方}

3.反向传播算法(BMP)：从输出层到输入层，每相邻两层i和i-1间，将i层所有数据对结点权值的变化的希望相加，作为一次对i-1层的调整。然后根据第i层受到调整的程度，继续向前调整第i-1层。

4.梯度下降：梯度是使带有多个参数的函数变化最快的方向，梯度下降是一个人通过计算所有数据的梯度，然后沿着负梯度方向一步一步下山。

5.随机梯度下降：由于梯度下降每一步计算量过大，将数据分成一些组（bench），每次计算某一组的梯度然后下山。不一定每一步都是全局梯度，但是整体速度明显提升。