chapter 3: Linear Methods for Regression
第3章:回归的线性方法
3.1 Introduction
A linear regression model assumes that the regression function E(Y∣X) is linear in the inputs X1,…,Xp . Linear models were largely developed in the precomputer age of statistics, but even in today’s computer era there are still good reasons to study and use them. They are simple and often provide an adequate and interpretable description of how the inputs affect the output. For prediction purposes they can sometimes outperform fancier nonlinear models, especially in situations with small numbers of training cases, low signal-to-noise ratio or sparse data. Finally, linear methods can be applied to transformations of the inputs and this considerably expands their scope. These generalizations are sometimes called basis-function methods, and are discussed in Chapter 5.
线性回归模型假设输入为 X1,X2,…,Xp 的回归函数 E(Y∣X) 是线性的。虽然线性模型大部分是在前计算机统计时代发展的,但是甚至在现在的计算机时代仍然有很好的原因去学习、使用线性模型。它们简单,而且经常对于输入怎样影响输出提供充足的、可解释的描述。用作预测时有时比新奇的非线性模型表现得还要好,特别是在训练情形很少、低信噪比或者稀疏数据的情况下。最后,线性方法可以被应用到输入的变换并且在很大程度上扩大了它们的范围。这些规范化有时被称作基函数方法,将在第5章中讨论。
In this chapter we describe linear methods for regression, while in the next chapter we discuss linear methods for classification. On some topics we go into considerable detail, as it is our firm belief that an understanding of linear methods is essential for understanding nonlinear ones. In fact, many nonlinear techniques are direct generalizations of the linear methods discussed here.
在这一章中我们描述回归的线性方法,下一章我们将讨论分类的线性方法。在某些主题上我们将从细节上讨论,因为理解线性方法对理解非线性至关重要是我们坚定的信仰。事实上,许多非线性技巧是这里讨论的线性方法的直接概括。
3.2 Linear Regression Models and Least Squares
3.2 线性回归模型和最小二乘法
As introduced in Chapter 2, we have an input vector XT=(X1,X2,…,Xp) , and want to predict a real-valued output Y . The linear regression model has the form
f(X)=β_0+∑_j=1pX_jβ_j(3.1)
The linear model either assumes that the regression function E(Y∣X) is linear, or that the linear model is a reasonable approximation. Here the βj ’s are unknown parameters or coefficients, and the variables Xj can come from different sources:
- quantitative inputs;
- transformations of quantitative inputs, such as log, square-root or square;
- basis expansions, such as X_2=X_12,X_3=X_13 , leading to a polynomial representation;
- numeric or “dummy” coding of the levels of qualitative inputs. For example, if G is a five-level factor input, we might createX_j,j=1,…,5 , such that X_j=I(G=j) . Together this group of X_j represents the effect of G by a set of level-dependent constants, since in∑_j=15X_jβ_j , one of the X_j s is one, and the others are zero.
- interactions between variables, for example, X_3=X_1⋅X_2
正如第二章介绍的那样,我们有输入向量
XT=(X_1,X_2,…,X_p)
,而且想要预测实数值输出
Y
。线性模型有如下形式
线性模型要么假设回归函数 E(Y∣X) 是线性的,要么假设线性模型是一个合理的近似。这里 β_j 是位置的参数或系数,变量 Xj 可以有下列不同的来源:
- 定量的输入
- 定量输入的变换,比如对数,平方根或者平方
- 基函数展开,比如 X_2=X_12,X_3=X_13 ,得到多项式表示
- 定性输入变量水平的数值或“虚拟”编码。举个例子,如果 G 是5个水平的因子输入,我们可能构造
- 变量之间的相交,举个例子, X_3=X_1⋅X_2
无论 X_j 是哪个来源,用参数表示的模型是线性的。
一般地,我们有一系列用来估计参数
β
的训练数据
(x_1,y_1),…,(x_N,y_N)
。每个
x_i=(x_i1,x_i2,…,x_ip)T
是第
i
个类别的特征衡量的向量。最受欢迎的估计方法是最小二乘(least squares),我们选择参数
从统计学的观点来看,如果训练观测值 (x_i,y_i) 为从总体独立随机抽取的则该标准是合理的。即使 x_i ’s不是随机选取的,如果在给定输入 x_i 的条件下 y_i 条件独立。图3.1图示了在充满实数对 (X,Y) 的 Rp+1 维空间的最小二乘拟合的几何意义。注意到(3.2)对模型(3.1)的有效性没有作假设,根据数据可以简单地找到最好的线性拟合。无论数据是怎样产生的,最小二乘拟合直观上看是满意的,这个准则衡量了拟合误差的平均。
我们怎样最小化(3.2)记
X
为
N×(p+1)
的矩阵,矩阵每一行为一个输入向量(在第一个位置为1),类似地令
y
为训练集里的
N
个输出向量。然后我们可以将残差平方和写成如下形式
这是含 p+1 个参数的二次函数。关于 β 求导有
假设
X
有列满秩,因此
XTX
是正定的,我们令一阶微分为0,即
得到唯一解
在输入向量 x_0 下的预测值由 f^(x_0)=(1:x_0)Tβ^ ;在训练输入下的拟合值为
其中, y^_i=f^(x_i) 。在式(3.7)中出现的矩阵 \mathbf{H=X(X^TX)^{-1}X^T
对向量求导的问题
图3.2展示了在 RN 中最小二乘估计的的不同几何表示。我们记 X 的列向量为 (x_0,x_1,…,x_p) ,其中 x_0≡1 。下文中第一列认为是跟其它的是一样的。这些向量张成了 RN 的子空间,也被称作 X 的列空间。我们通过选择 β^ 来最小化 RSS(β)=\abs(y−Xβ) ,则残差向量 y−y^ 正交于子空间。(3.5)式描述了这种正交,然后估计的结果 y^ 因此是 y 在子空间的正交投影。帽子矩阵 H 计算正交投影,因此也被称作投影矩阵。
可能会出现
X
的列不是线性独立的,则
X
不是满秩的。举个例子,如果两个输入是完全相关的,(比如,
x_2=3x_1
)。则矩阵
XTX
是奇异的,并且最小二乘的系数
β^
不是唯一的。然而,拟合值
y^=Xβ^
仍然是
y
在列空间
X
的投影;对于
X
的列向量有多种方式表达这种投射。当一个或多个定性输入用一种冗余的方式编码时经常发现非满秩的情形。通过重编码或去除
X
中的列,通常有一种自然的方式去分解不是唯一的表达方式。大多数回归软件包监测这些冗余并且用一些策略自动实现去除。秩缺失在信号和图像分析中经常发生,输入
p
可以超出训练的情形
截至目前我们已经对数据的真实分布做了很少的假设。为了约束
β^
的取样特点,我们现在假设观测值
y_i
不相关,有恒定的方差
σ2
,并且
x_i
是给定的(非随机)。最小二乘法的参数估计的方差-协方差阵可以很容易从式(3.6)得到
经常通过下式来估计方差 σ2
分母是 N−p−1 而不是 N ,因为此时使得
为了对参数和模型进行推断,需要一些额外的假设。我们现在假设式
(3.1)
是均值的正确模型;则
Y
的条件期望关于
其中误差 ϵ 是期望值为0方差为 σ2 的高斯随机变量,记作 ϵ∼N(0,σ2)
由式(3.9),可以很简单地证明
这是一个有上述均值向量和方差-协方差矩阵的多变量正态分布。同时有
是一个自由度为 N−p−1 的卡方分布。另外, β^ 和 σ2^ 是统计独立的。我们利用这些分布性质得到假设检验以及对于参数 β_j 的置信区间
为了检验系数
β_j
的这一假设,我们构造标准化因数或者Z-分数。
其中 v_j 是 (XTX)−1 的第 j 个对角元。零假设为
我们经常需要同时检验系数集体的显著性。举个例子,检验有
其中 RSS1 是有 p1+1 个参数的大模型的最小二乘法拟合的残差平方和, RSS0 是有 p0+1 参数的小模型的最小二乘法拟合的残差平方和,有 p1−p0 个参数限制为0. F 统计量衡量了在大模型中每个增加的系数对残差平方和的改变,而且用