梯度下降是迭代法的一种,可用于求解最小二乘法问题,线性非线性都可以。在求解机器学习模型参数时,即无约束最优化问题时,最常用的就是梯度下降,另一种方法就是最小二乘法。在求损失函数的最小值问题时,可使用梯度下降法一步步迭代得到损失函数的最小值和参数值;如果求损失函数的最大值就要用梯度上升法。
在机器学习中,梯度下降方法包括随机梯度下降和批量梯度下降。
梯度下降
最新推荐文章于 2022-02-02 18:57:48 发布
梯度下降是迭代法的一种,可用于求解最小二乘法问题,线性非线性都可以。在求解机器学习模型参数时,即无约束最优化问题时,最常用的就是梯度下降,另一种方法就是最小二乘法。在求损失函数的最小值问题时,可使用梯度下降法一步步迭代得到损失函数的最小值和参数值;如果求损失函数的最大值就要用梯度上升法。
在机器学习中,梯度下降方法包括随机梯度下降和批量梯度下降。