复习回归模型

回归模型（regression model）对统计关系进行定量描述的一种数学模型。
回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。(from [参考1])

回归模型的要素

• 自变量（数量——一个(元)或者多个(元)）
• 因变量（类型——连续或者离散(二进制)）
• 回归线的形状（拟合程度——线性或者非线性）
• 表达式
• 损失函数
• 评估指标

线性回归（Linear Regression）

• 自变量个数

  • n = 1：一元线性回归
  • n > 1：多元线性回归

• 因变量类型：连续

• 回归线的形状：直线

• 表达式：$y=a\ast X+b+ϵ$，其中 $a$ 为直线斜率，$b$ 为直线截距，$ϵ$ 为误差项。

• 损失函数：最小二乘法（Least Square Method）${\min }_{a,b}{\Vert a\ast X-y\Vert }_2^2$

• 评价指标：R-square

  重点：
  自变量和因变量之间必须满足线性