梯度下降

梯度下降是迭代法的一种，可用于求解最小二乘法问题，线性非线性都可以。在求解机器学习模型参数时，即无约束最优化问题时，最常用的就是梯度下降，另一种方法就是最小二乘法。在求损失函数的最小值问题时，可使用梯度下降法一步步迭代得到损失函数的最小值和参数值；如果求损失函数的最大值就要用梯度上升法。
在机器学习中，梯度下降方法包括随机梯度下降和批量梯度下降。