机器学习笔记 - 线性模型与线形回归

给定由$d$个属性描述的样本$x=(x_1, x_2, ... , x_d)$, 线性模型(linear model)试图学习一个通过属性的线性组合来预测的函数, 即

$$f(x) = w_1x_1 + w_2x_2 + ... + w_dx_d + b$$
一般用向量形式写成
$$f(x) = w^Tx + b$$
其中, $w=(w_1, w_2, ... , w_d)$, $w和b$ 学得之后, 模型就得以确定.

给定数据集

$$D = \{ (x_1, y_1), (x_2, y_2), ... , (x_m, y_m)\}$$ ,
其中 $x_i = (x_{i1}, x_{i2}, ... , x_{id}), y_i \in \Re$, 线性回归(Linear Regression)试图学习一个线性模型去预测实值输出标记.

我们先考虑最简单的情形， 即$d = 1$, 则 $D = \{ (x_i, y_i)_{i=1}^{m}\}, 其中, x_i \in \Re$. 线性回归试图习得

$$f(x_i) = wx_i + b, 使得 f(x_i) \simeq y_i$$
衡量 $f(x)$与 $y$的差别， 最常用的度量方法是均方误差。 我们可以试图让均方误差最小
$$(w^*, b^*) = argmin\sum_{i=1}^{m}(f(x_i) - y_i)^2 = argmin \sum_{i=1}^{m}(f(x_i)-wx_i-b)^2$$
基于最小均方误差来进行模型求解的方法称为最小二乘法。

令

$$E(w, b) = argmin \sum_{i=1}^{m}(f(x_i)-wx_i-b)^2$$
则
$$\frac{\partial E(w,b)}{\partial w} = 2 (w \sum_{i=1}^mx_i^2 - \sum_{i=1}^m(y_i-b)x_i)$$
$$\frac{\partial E(w,b)}{\partial b} = 2(mb - \sum_{i=1}^m(y_i - wx_i))$$

然后令上两式为零， 可得

$$w = \frac {\sum_{i=1}^m y_i(x_i-avg(x))} { \sum_{i=1}^m x_i^2 - \frac{1}{m} (\sum_{i=1}^mx_i)^2}$$
$$b = \frac{1}{m}\sum_{i=1}^{m}(y_i - wx_i)$$

推广到更一般的情况, 数据集$D$的样本由$d$个属性，

$$X = \begin{pmatrix} x_{11} & x_{12} & ... & x_{1d} & 1 \\ x_{21} & x_{22} & ... & x_{2d} & 1 \\ . & . & . &. & 1 \\ x_{m1} & x_{m2} & ... & x_{md} & 1 \end{pmatrix}$$
则
$$w^* = argmin(y - Xw)^T(y-Xw)$$
令 $E_w = (y - Xw)^T(y-Xw)$
对 $w$求导可得
$$\frac{\partial E(w)}{\partial w} = 2X^T(Xw - y)$$
若 $X^TX$为满秩矩阵或正定矩阵， 令上式为零， 可得
$$w^* = (X^TX)^{-1}X^Ty$$
最终的回归模型为
$$f(x_i) = x_i^T(X^TX)^{-1}X^Ty$$

Reference

1. https://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)
2. 机器学习 - 周志华 清华大学出版社