机器学习 线性回归

更多推导参见:https://blog.csdn.net/sinat_37965706/article/details/69204397

一.概述
1.概念:

"线性回归"(Linear Regression)是最简单的回归,目标是找到"自变量"(Independent Variable)与"因变量"(Dependent Variable)/
"响应变量"(Response Variable)之间的线性关系.相应的模型为"线性回归模型"(Linear Regression Model),该模型需要假设因变量服
从正态分布(高斯分布)

2.优缺点
(1)优点:

①思想简单,实现容易,建模迅速
②运算速度快
③是许多强大的非线性模型的基础
④容易理解,可解释性好,利于决策分析

(2)缺点:

①难以很好得拟合关系复杂的数据
②存在多重共线性的问题

二.线性回归
1.简单线性回归
(1)模型:

简单线性回归(Simple Linear Regression)是指找到1个自变量与1个因变量间的线性关系.简单线性回归模型(Simple Linear Regression Model)为$$y={\beta }_0+{\beta }_{1}x+\epsilon (1)$$其中$x,y$分别为自变量和因变量;${\beta }_0,{\beta }_1$为参数;$\epsilon$为1个随机变量.而简单线性回归方程(Simple Linear Regression Equation)为$$E(y)={\beta }_0+{\beta }_{1}x(2)$$其中${\beta }_0$称为截距(Intercept)或偏置(Bias),${\beta }_1$称为权重(Weight),统称回归系数(Regression Coefficient).该方程是通过对$(1)$式两侧同时求期望得到的,对应的图像是1条直线,称为回归线

相应的估计简单线性回归方程(Estimated Simple Linear Regression Equation)为$$\hat{y}=b_0+b_{1}x(3)$$其中$b_0,b_1$为参数,$x$为自变量,$\hat{y}$为因变量$y$的估计值

$(3)$式需要满足$$\min \frac{1}{2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$其中$(x_i,y_i)$为所有数据点,${\hat{y}}_i$为$(3)$式在$x_i$处的值.这是1个最小二乘问题,通过正规方程可解得$$\begin{gathered} b_1=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2} \\ {b}_0=\bar{y}-b_1\bar{x} \end{gathered}$$也可使用梯度下降求解

(2)假设:

经典线性回归模型要求满足下述假设:
$①$为满足正态分布的独立实随机变量
$②E(\epsilon )=0$
$③$同方差假定(Homoscedasticity Supposition):$D(\epsilon )={\sigma }^2$
$④$随机项非自相关假定(Nonautocorrelation Supposition):$Cov({\epsilon }_i,{\epsilon }_j)=0$,其中${\epsilon }_i,{\epsilon }_j$是$x$取不同值时的随机项
$⑤$高斯-马尔可夫假定(Gauss-Markov Supposition):$Cov(\epsilon ,x)=0$

2.多元线性回归:

多元线性回归(Multiple Linear Regression)则是指找到多个自变量与1个因变量间的线性关系.多元线性回归模型(Multiple Linear Regression Model)为$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+$$