【AI】什么是梯度、梯度消失、梯度爆炸?
【扫盲】什么是深度学习中的梯度?首先,可以梯度理解为函数的斜率。之后,这个斜率,说的是损失函数的斜率,如果我们的损失函数仅仅有一个参数,那么梯度就是斜率。在这里我假设损失函数有两个参数(就是二维损失函数),那么损失函数的3D图像就如下图,中间是损失率最低的点,也是我们所要去寻找的点:在此,梯度是一个向量,表示某一函数在该点处的方向导数沿该方向取得最大值,即函数在该点处沿着该方向变化最快,变化率最大。我们就是根据梯度这个东西,来确定误差函数的最小点(或者说相对最小点),而损失函数
复制链接