线性回归模型

线性回归模型

一、线性回归的基本假设

1.线性性和可加性

假设因变量为Y，自变量为X1，X2，则回归分析的默认假设为Y=b+a1X1+a2X2+ε。
线性性：X1每变动一个单位，Y相应变动a1个单位，与X1的绝对数值大小无关。
可加性：X1对Y的影响是独立于其他自变量（如X2）的。

2.误差项（ε）之间应相互独立。

若不满足这一特性，我们称模型具有自相关性（Autocorrelation）。

3.自变量（X1，X2）之间应相互独立。

若不满足这一特性，我们称模型具有多重共线性性（Multicollinearity）。
检查多重共线性，采用方差膨胀系数（VIF–Variance Inflation Factor），若VIF<3，说明该变量基本不存在多重共线性性问题，若VIF>10，说明问题比较严重。

4.误差项（ε）的方差应为常数。

若满足这一特性，我们称模型具有同方差性（Homoskedasticity），若不满足，则为异方差性（Heteroskedasticity）。

5.误差项（ε）应呈正态分布。

二、一元线性回归模型

1. 一元线性回归模型：
   y=w₀+w₁x

2. 多元线性回归问题（multiple linear regression）:
   线性约束由多个解释变量构成：
   y=w₀+w₁x₁+w₂x₂+…+w_nx_n

3. 项式回归分析（polynomial regression问题）:
   一种具有非线性关系的多元线性回归问题
   y=w₀+w₁x₁+w₂x₂²+…+w_nx_nⁿ

三、回归模型的损失函数

回归问题的损失函数为均方误差(Mean Squared Error)，目标函数如下形式：
目标函数 J(θ₀,θ₁) 描述了所有训练样本实际值与预测值之间的均方误差，而我们的目的就是求解能够使得该误差 J(θ₀,θ₁) 值最小的参数 θ₀,θ₁ 。

四、目标函数参数求解

两种方式求解：（1）最小二乘法（2）梯度下降法
梯度下降是通过迭代的方法求解参数 θ ，而最小二乘法，或者叫正规方程，是解析地求解参数 θ。

对于一元线性回归;

1. 最小二乘法

• 对于模型函数： h(x)=X⋅Θ
• 最小二乘法求解参数：Θ=(X^TX)⁻¹X^Ty
  矩阵的逆运算算法复杂度为 O(n3) ，当特征数很大时，计算非常耗时。

2. 梯度下降法
   其梯度为：
   
   注：梯度为一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值。
    于是对于一元线性回归，梯度下降算法过程为：
     

重复以上过程直到收敛，或达到最大迭代次数。
   收敛判断条件为：

其中 ϵ 为阈值 ，当第 k 次所求代价值，与第 k−1 代价值相差小于阈值时，可视为函数收敛到最优解附近。此时的 θ^(k)₀,θ^(k)₁ 即为所求参数。
  以上便是梯度下降算法的整个过程。

3. 以上两种方法的比较
      梯度下降法：（1）需要选择学习率 α （2）需要迭代 （3）即使特征数 n 很大也能很好地工作。
      最小二乘法：（1）不需要选择学习率 α （2）不需要迭代 （3）需要计算矩阵的逆，当特征数 n 很大时，计算速度很慢。

参考：
1.https://blog.csdn.net/yingfengfeixiang/article/details/107965163
2.https://www.cnblogs.com/lliuye/p/9120839.html
3.https://blog.csdn.net/HHG20171226/article/details/102692044