《动手学深度学习》3.1中提及小批量随机梯度下降
梯度下降:通过方向(梯度反方向)+步长,在原有点的基础上更靠近最小值点。
设原有点为,目标函数为
,对
的任一方向
,若存在实数
,使任意
均有
,方向
就为点
的一个下降方向
将目标函数在点
处作一阶泰勒展开,可知满足条件
的方向
必为点
的下降方向,显然取
(梯度反方向)一定是下降方向。
这里解释了为什么梯度反方向是下降方向,关于小批量和随机概念可参阅一文搞懂梯度下降_kuokay的博客-CSDN博客
《动手学深度学习》3.1中提及小批量随机梯度下降
梯度下降:通过方向(梯度反方向)+步长,在原有点的基础上更靠近最小值点。
设原有点为,目标函数为
,对
的任一方向
,若存在实数
,使任意
均有
,方向
就为点
的一个下降方向
将目标函数在点
处作一阶泰勒展开,可知满足条件
的方向
必为点
的下降方向,显然取
(梯度反方向)一定是下降方向。
这里解释了为什么梯度反方向是下降方向,关于小批量和随机概念可参阅一文搞懂梯度下降_kuokay的博客-CSDN博客