鸿蒙培训第四阶段第五课

1、梯度下降和反向传播

梯度：是一个向量，导数+变化量最快的方向（学习前进的方向）

（1）梯度下降：最优化算法，用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。

计算过程：沿梯度下降的方向求解极小值。

（2）反向传播算法（BP算法）：适用于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。

计算图：把数据和操作通过图来表示。

从前往后，计算每一层的梯度。

3、BP算法(即误差反向传播算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。

4、反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。