机器学习笔记：线性回归

— 本博客内容主要来自周志华著《机器学习》及网上相关资源，用于个人的学习记录，禁止转载。

线性模型虽然简单，但是包含了机器学习基本思想，许多非线性模型可以在线性模型的基础上引入层级结构或高维映射得到。例如，神经网络中每个层都相当于一个线性模型+激励函数（非线性），构成非线性映射，而许多层叠加在一起，形成了功能强大的非线性神经网络。

1.基本形式

假设每个样本包含$d$个属性，表示为$x=(x_1,x_2,\dots ,x_d)$ ，其中$x_i$是$x$在第$i$个属性上的取值。线性模型试图学习一个通过属性的线性组合来预测的函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+\dots +w_d{x}_d+b$$
向量形式为$f(x)=w^{T}x+b$。

给定一个包含$m$个样本的数据集，线性回归要学得一个线性模型尽可能准确的预测输出。这里需要注意，对于$x$的离散值属性，如果属性值之间存在可以进行排序，那么直接将离散值转换为相应的连续值，例如身高特征包含高、中和低，那么可以对应转换为{1.0,0.5,0.0}；如果属性之间不存在序的关系，例如瓜的产地分为新疆、山东、福建，那么直接将这个特征进行one-hot处理，即将特征的属性值转化为单独的特征，将“是、否”语义数值化为“1、0”。在这里，瓜的产地特征值可转化为一个三维向量，新疆、山东、福建对应为$(0,0,1),(0,1,0),(0,0,1)$。强行地将无序的离散属性连续化，会引入不恰当的特征关系，对于后续的求解造成误导。

2.求解

按照李航《统计学习方法》中的定义，学习方法有三个要素：模型、策略和算法。下面讲线性模型的策略和算法。如何衡量线性模型$f(x)$和$y$的差别，这里使用最基本的最小二乘法，即均方误差最小化，找到一条直线，使得所有样本点到直线上（$w^{T}x+b$）的距离之和最小。
$$(w^{\ast },b^{\ast })=\text{arg}\underset{w,b}{\min }\sum _{i=1}^m(w^{T}x+b-y_i{)}^2$$
当样本$x$是一维的时候非常简单，求偏导直接得到最优解（仅对凸函数适用，可以证明上述函数是凸函数）
$$\frac{\partial E(w,b)}{\partial w}=w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i$$

$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$

更一般的情形是，样本$x$由许多特征组成，这是问题变为矩阵求解。为表示方便，我们令$\overline{w}=(w,b)$，$X$表示$x$加上常数列后的扩展矩阵，则
$$\overline{w^{\ast }}=\text{arg}\underset{\overline{w}}{\min }(y-X\overline{w}{)}^T(y-X\overline{w})$$
求解得
$$\frac{\partial E(\overline{w})}{\partial \overline{w}}=2X^T(X\overline{w}-y)$$

$$\overline{w^{\ast }}=(X^{T}X{)}^{-1}{X}^{T}y$$

这里逆矩阵的求解$(X^{T}X{)}^{-1}$需要注意，由于$(X^{T}X)$通常不是满秩矩阵，例如当特征数大于样本数时，逆矩阵有多组解，它们都能使均方差最小化，选择哪一个解将于学习算法的偏好决定。