Task4：深度学习介绍何反响传播机制

一、深度学习介绍

1.深度学习的步骤

   神经网络

   模型评估

   选择最优函数

2.完全连接前馈神经网络

  特征：信号流是完全单向的

   运算量大了以后===>矩阵运算

计算：将隐藏层的输出当作输入，通过特征提取替代原来的特征方程，一层一层嵌套，最后通过一个多分类器得到输出

模型评估：神经网络===>特征值

Total loss：越小越好，所有训练集的损失总和

我们需要做的是：

   1>.在function set中寻找最优的function

   2>.在神经网络的参数中，找到最优的参数

使Total loss最小

选择最优函数：梯度下降

   由初始值计算梯度，不断更新梯度，得到新的参数值，并使L最小

反向传播：神经网络中计算损失最好的方法，如TensorFlow、theano、Pytorch等框架

二、反向传播

  loss function：定义在单个训练样本上的，是一个样本的训练误差

  cost function：定义在整个训练集上的，是所有样本误差总和的平均

  total  loss function：定义在整个训练集上的，是所有样本误差的总和，也是我们在反响传播中需                                    要最小化的值

 

                                                       参考李宏毅深度学习笔记