梯度:偏导
下降:偏导的反方向
梯度下降是求的偏导的反方向,如上图下山的方向。
当使用梯度下降的时候没有办法一步找到最优解,只能是一步一步来接近最优解(近似最优解)。
第一步首先需要一个 目标函数 如下
目标方法少了一个 平方
批量梯度下降:容易得到最优解,但是速度比较慢
随机梯度下降:速度快,但是不一定每次都朝着收敛方向
小批量梯度下降:每次选择一小部分,比较实用
梯度:偏导
下降:偏导的反方向
梯度下降是求的偏导的反方向,如上图下山的方向。
当使用梯度下降的时候没有办法一步找到最优解,只能是一步一步来接近最优解(近似最优解)。
第一步首先需要一个 目标函数 如下
目标方法少了一个 平方
批量梯度下降:容易得到最优解,但是速度比较慢
随机梯度下降:速度快,但是不一定每次都朝着收敛方向
小批量梯度下降:每次选择一小部分,比较实用