一元线性回归python代码

目录

1.最小二乘法：

2.梯度下降法：

3.理论加实践：

4.python代码:

4.1梯度下降法：

4.2最小二乘法

---

 

      学习引入：机器学习中的参数模型(线性回归，逻辑回归）等。在这里我们只进行一元线性回归的学习，求一元线性回归有两种方法：梯度下降法，最小二乘法

     梯度下降法：通过建模找到一个最大程度拟合数据的模型，通过确定损失函数，最优化目标函数来进行学习

回归分析：

     最下二乘法：利用已知的数据(线性回归中需要找到一条直线)最大程度的拟合样本与输出标记，即产生拟合方程，从而对未知的数据进行估预测.

如何判断是否选用线性模型处理问题?

使用相关系数r衡量特征与标记之间的相关性强弱，判断是否适合用直线进行拟合,r为0到1的值，越接近1，相关性越强

如果x与y有较强的相关的模型，则有y=ax+b

寻找合适的参数a,b,使得误差即损失最小

1.最小二乘法：

最小二乘法求解最小值：

 

2.梯度下降法：

一元线性回归公式:

求解的方法：首先构造损失函数，然后对损失函数进行求偏导，之后利用前面讲过的梯度下降进行更新迭代，求得最后的一元线性方程。下面有一些简单的模型