机器学习之线性回归模型

@(机器学习)[回归]

线性回归模型

（本章内容是后续logistic回归和softmax回归的基础）
给定数据集$D=\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots ,(\mathbf{x}_m,y_m)\}$，其中$\mathbf{x}_i=\{x_{i1};x_{i2};\dots ;x_{id}\}$是具有$d$个分量的特征向量，$y_i\in \mathbb{R}$为数据标签，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数：

$$f(\mathbf{x}_i)=\boldsymbol{w}^T\mathbf{x}_i+b \tag{1}$$
来尽可能准确地预测标签 $y_i$，其中 $w=(w_1;w_2;\dots;w_d)$。
如何确定参数 $w$和$b$的取决于我们怎么定义 $f(\mathbf{x}_i)$和 $y_i$之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化：

$$\begin{align*} (w^*,b^*) &=\mathop{arg\ min}\limits_{(w,b)}\sum_{i=1}^m(f(x_i)-y_i)^2\\ &=\mathop{arg\ min}\limits_{(w,b)}\sum_{i=1}^m(y_i-wx_i-b)^2\\ \tag{2} \end{align*}$$
线性模型(1)的预测值用来逼近真实标记y时，我们就得到 线性回归模型。线性回归模型简写为
$$y=\boldsymbol{w}^T\boldsymbol{x}+b \tag{3}$$
也可令模型预测值逼近 $y$的衍生物$g(y)$
$$y=g^{-1}(\boldsymbol{w}^T\boldsymbol{x}+b) \tag{4}$$
这样得到的模型成为“广义线性模型”。例如，当 $g(y)=ln(y)$时，称为对数线性回归。