1、梯度下降和反向传播
梯度:是一个向量,导数+变化量最快的方向(学习前进的方向)
(1)梯度下降:最优化算法,用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。
计算过程:沿梯度下降的方向求解极小值。
(2)反向传播算法(BP算法):适用于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上。
计算图:把数据和操作通过图来表示。
从前往后,计算每一层的梯度。
3、BP算法(即误差反向传播算法)适合于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合,因此具有很强的函数复现能力。这是BP算法得以应用的基础。
4、反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代,直到网络的对输入的响应达到预定的目标范围为止。