1.引言
机器学习三大主要分支:监督学习、无监督学习和半监督学习。
对于监督学习,根据目标数据类型的不同分为二大核心任务:分类和回归。
其中分类指目标数据为离散型变量,回归指目标数据为连续型变量。
对于回归分析方法,本文主要介绍在实际应用最广泛的线性回归分析。之后也会分享对应的实践案例(Python和R)。
2. 简洁的本质
借用“科普中国”科学百科词条中的定义:
回归分析是确定两种或两种以上变量关系的一种统计分析方法。
所谓透过现象看本质,我们希望对观察到的现象,经过统计分析,可以洞悉现象背后客观存在的映射关系。
那么线性回归就是这样一回事:既然回归的目标是得到映射关系,而且牛顿说过真理永远是最简洁的(也许说过,不敢保证),所以我们就假设这种映射关系是简单的,即是线性的,那么就得到了线性回归分析的一般形式。
下面将这段思路转为了符号表示:
对于回归问题,我们希望得到自变量 x 1 , x 2 , . . . , x m x_{1},x_{2},...,x_{m} x1,x2,...,xm与因变量 y y y的映射关系:
y = f ( x 1 , x 2 , . . . , x m ) y=f(x_{1},x_{2},...,x_{m}) y=f(x1,x2,...,xm)
对于线性回归问题,假设映射关系为线性的,即
y = β 0 + β 1 x 1 + β 2 x 2 + . . . + β m x m y=\beta_{0}+ \beta_{1}x_{1}+\beta_{2}x_{2}+...+\beta_{m}x_{m} y=β0+β1x1+β2x2+...+βmxm
对于 n 次观测值,可以将映射关系表示成矩阵形式:
Y = X β (1) Y=X\beta\tag{1} Y=Xβ(1)
Y = [ y 1 , y 2 , . . . , y n ] T , β = [ β 0 , β 1 , . . . , β m ] T X = [ 1 x 11 . . . x 1 m 1 x 21 . . . x 2 m ⋮ ⋮ . . . ⋮ 1 x n 1 . . . x n m ] Y=[y_{1},y_{2},...,y_{n}]^{T},\beta=[\beta_{0},\beta_{1},...,\beta_{m}]^{T} \\ X= \begin{bmatrix} 1 &x_{11} &... &x_{1m}\\ 1 &x_{21} &... &x_{2m}\\ \vdots &\vdots &... &\vdots\\ 1 &x_{n1} &... &x_{nm}\\ \end{bmatrix} Y=[y1,y2,...,yn]T,β=[β0,β1,...,βm]TX