python建立线性回归模型_线性回归模型（Linear Regression）及Python实现

线性回归模型(Linear Regression)及Python实现

1.模型

对于一份数据，它有两个变量，分别是Petal.Width和Sepal.Length，画出它们的散点图。我们希望可以构建一个函数去预测Sepal.Length，当我们输入Petal.Width时，可以返回一个预测的Sepal.Length。从散点图可以发现，可以用一条直线去拟合，这时我们可以构建一元线性回归模型：hθ(x) = θ0 + θ1x1 (x1= Petal.Width)。当然，如果我们的特征X不止一个的话，我们可以构造多元线性回归模型，hθ(x) = ∑θixi(i = 0,...,n , x0= 1)。

2.评价

对于上述的线性回归模型hθ(x)，我们需要求出θ来。可以想象，参数θ的取值有无数多种，那么我们应该怎么样选取合适的参数θ？ 直观的去理解，我们希望估计出来的hθ(x)与实际的Y值尽量的靠近，因此我们可以定义一个损失函数J(θ) = ½∑(hθ(x(i)) − y(i))2。当然，损失函数可以有很多种定义方法，这种损失函数是最为经典的，由此得到的线性回归模型称为普通最小二乘回归模型(OLS)。

3.优化

我们已经定义好了损失函数J(θ)，接下来的任务就是求出参数θ。我们的目标很明确，就是找到一组θ，使得我们的损失函