1 什么是梯度下降
梯度下降可以对神经网络中的成本函数(cost)进行反向传播,通过不断迭代,更新权值w、b,找到损失函数最低点,最终使我们的模型达到更优的效果。
成本函数有几种,不具体介绍,简单记为,这里对模型进行输入X,是模型训练后得到结果,是标准答案,模型训练的目的是使输出的结果更接近标准答案,即要找到损失函数的最低点。下面是交叉熵(cross entropy)成本函数,不具体介绍
2 梯度下降为什么能找到最低点
见链接。
3 具体过程
这是一个浅层神经网络
单个神经元
梯度下降可以对神经网络中的成本函数(cost)进行反向传播,通过不断迭代,更新权值w、b,找到损失函数最低点,最终使我们的模型达到更优的效果。
成本函数有几种,不具体介绍,简单记为,这里对模型进行输入X,是模型训练后得到结果,是标准答案,模型训练的目的是使输出的结果更接近标准答案,即要找到损失函数的最低点。下面是交叉熵(cross entropy)成本函数,不具体介绍
见链接。
这是一个浅层神经网络
单个神经元