监督学习(1)|一文搞懂线性回归，lasso回归，岭回归

1.引言

机器学习三大主要分支：监督学习、无监督学习和半监督学习。
对于监督学习，根据目标数据类型的不同分为二大核心任务：分类和回归。
其中分类指目标数据为离散型变量，回归指目标数据为连续型变量。
对于回归分析方法，本文主要介绍在实际应用最广泛的线性回归分析。之后也会分享对应的实践案例(Python和R)。

2. 简洁的本质

借用“科普中国”科学百科词条中的定义：

回归分析是确定两种或两种以上变量关系的一种统计分析方法。

所谓透过现象看本质，我们希望对观察到的现象，经过统计分析，可以洞悉现象背后客观存在的映射关系。
那么线性回归就是这样一回事：既然回归的目标是得到映射关系，而且牛顿说过真理永远是最简洁的（也许说过，不敢保证），所以我们就假设这种映射关系是简单的，即是线性的，那么就得到了线性回归分析的一般形式。
下面将这段思路转为了符号表示：
对于回归问题，我们希望得到自变量$x_1,x_2,...,x_m$与因变量 $y$的映射关系:
$$y=f(x_1,x_2,...,x_m)$$
对于线性回归问题，假设映射关系为线性的，即
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_m{x}_m$$
对于 n 次观测值，可以将映射关系表示成矩阵形式：
$$Y=X\beta \text{\hspace{1em}(1)}$$
$$\begin{gathered} Y=[y_1,y_2,...,y_n{]}^T,\beta =[{\beta }_0,{\beta }_1,...,{\beta }_m{]}^T \\ X \end{gathered}$$