目录
一、实验内容
- 理解单变量线性回归问题;
- 理解最小二乘法;
- 理解并掌握梯度下降法的数学原理;
- 利用python对梯度下降法进行代码实现;
二、实验过程
1、算法思想
梯度下降法是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。
最小二乘法,也叫做最小平方法,它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最小二乘法来表达。
2、算法原理
梯度下降法是迭代法的一种,可以用于求解最小二乘问题。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降法和最小二乘法是最常采用的方法。
在求解损失函数的最小值时,可以通过梯度下降法来迭代求解,得到最小化的损失函数和模型参数值。
3、算法分析
(1)确定当前位置的损失函数的梯度,对于,其梯度表达式为: