线性回归的梯度下降法——个人整理笔记

目录

一、实验内容

二、实验过程

1、算法思想

2、算法原理

3、算法分析

三、源程序代码

四、运行结果分析

五、实验总结

梯度下降：

---

一、实验内容

---

1. 理解单变量线性回归问题；
2. 理解最小二乘法；
3. 理解并掌握梯度下降法的数学原理；
4. 利用python对梯度下降法进行代码实现；

二、实验过程

---

1、算法思想

---

        梯度下降法是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。

  最小二乘法，也叫做最小平方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最小二乘法来表达。

2、算法原理

---

        梯度下降法是迭代法的一种，可以用于求解最小二乘问题。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。

        在求解损失函数的最小值时，可以通过梯度下降法来迭代求解，得到最小化的损失函数和模型参数值。

3、算法分析

---

（1）确定当前位置的损失函数的梯度，对于，其梯度表达式为：