AI算法--3.梯度下降

学习笔记，自liuyubobo老师，慕课网
**

梯度下降法

**

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值

通过调参确定 ‘一塔’ 参数

缺陷：如果从椭圆处出发，可能找到的是局部最优解，并不是全局最优解。

解决：

对于线性回归法，比较特殊，是具有唯一的最优解的。