文章目录
【更新日志】
3/3/2020 对部分公式中出现的错误进行了修正
4/5/2020 修改了文章标题
1. 前文回顾
在上一篇文章中，我们建立了多元线性回归模型，以及模型的相关假设，并给出了对应的样本模型（详情请见：【统计学习系列】多元线性回归模型（一）——模型的建立与基本假设）（别问我为什么点开404，因为这一章的内容太多我还在补充中，暂未开放）：
y i = β 0 + ∑ j = 1 p x i j β j + ϵ i , i = 1 , . . . , N y_i= \beta_0 + \sum_{j=1}^{p} x_{ij} \beta_j + \epsilon_i , \ i=1,...,N yi=β0+j=1∑pxijβj+ϵi, i=1,...,N其中：
ϵ = ( ϵ i ) N × 1 ∼ N ( 0 , I n σ 2 ) \bm{\epsilon} = (\epsilon_i)_{N \times 1} \thicksim N(0,\bm{I_n}\sigma^2) ϵ=(ϵi)N×1∼N(0,Inσ2)
因此，需要估计的参数有 p + 2 个：β0, β1, …, βp, σ。我们如何利用样本来估计模型参数呢？我们的一般思路是：1）制定评价标准，2）在给定标准下寻找最优参数。这篇文章主要介绍最小二乘估计法和极大似然估计法这两种方法。话不多说，让我们开始探寻参数估计的秘密吧！
注：本篇涉及大量数学定理推导。尽管作者力求内容通俗易懂，但同时也希望保证证明的严谨性。因此在参数估计的推导中，我会把证明思路与过程尽可能清晰、完整地展示出来，这可能需要读者具有一定程度的凸优化问题求解和线性代数的基础。实操应用类读者可直接跳过2、3两章，而直接阅读第4章结论。
2. 最小二乘法估计（Ordinary Least Squared Estimate, OLS）
如果将 N 组样本对 (yi, xi) 看做是一个 p+1 维实空间中的N个点，那么我们现在要做的就是在空间中找到一个 p 维超平面，来尽可能“好”的拟合空间中的这N个样本的点。什么样的指标可以衡量这种拟合的好坏呢？样本点到拟合平面的距离则是一个衡量拟合好坏的测量工具：当点到平面距离和越小，说明估计量与真实值之间的“距离”越小（离得越近），模型对样本数据的拟合情况越好；而点到平面距离和越大，说明估计量与真实值之间的“距离”越大（离得越远），模型对样本数据的拟合情况越差。而对于距离的度量，我们可以使用两点差值的平方这一指标：
d i s t a n c e ( y i , y ^ i ) = ( y i − y ^ i ) 2 distance(y_i, \hat{y}_i) = (y_i - \hat{y}_i)^2 distance(yi,y^i)=(yi−y^i)2
注1：使用平方而非绝对值是为了后边方便求导。
注2：这里的表述并不严谨。作为距离的测度，我们应该使用范数（例如2-范数）。其本质是因为定义范数作为距离的欧式空间是一个赋范线性空间。
最小二乘估计法的核心思想是：找到一组参数 β ，使得“样本点到平面的距离和最小”，或者说最小化残差平方和。用数学语言可以表示为：
min β 0 , β 1 , . . . , β p R S S ( β 0 , β 1 , . . . , β p ) = ∑ i = 1 N ( y i − f ( x i ) ) 2 = ∑ i = 1 N ( y i − β 0 − ∑ j = 1 p x i j β j ) 2 \min_{\beta_0, \beta_1,...,\beta_p} RSS(\beta_0, \beta_1,...,\beta_p) \\ \hskip{1.5em} = \sum_{i=1}^{N}(y_i - f(\bm{x_i} ))^2 \\ \hskip{5em} = \sum_{i=1}^{N}(y_i - \beta_0 - \sum_{j=1}^{p} x_{ij} \beta_j)^2 β0,β1,...,βpminRSS(β0,β1,...,βp)=i=1∑N(yi−f(xi))2=i=1∑N(yi−β0−j=1∑pxijβj)2
注1：利用这一准则成立的合理前提是：(xi, yi)是从总体一种独立抽取的随机样本。若样本不满足随机性，yi与xi也应该条件独立。
注2：在利用这一准则进行参数估计时，其过程本身并不蕴含任何假设条件（即该过程并不蕴含模型的有效性假设）
为方便计算，我们首先将RSS的表达式改写为矩阵运算形式：
R S S ( β ) = ( y − X β ) T ( y − X β ) RSS( \bm{\beta} ) = (\bm{y} - \bm{X} \bm{\beta} )^T (\bm{y} - \bm{X} \bm{\beta} ) RSS(β)=(y−Xβ)T(y−Xβ)
其中：
β = [ β 0 β 1 ⋮ β p ] ( p + 1 ) × 1 , y = [ y 0 y 1 ⋮ y N ] N × 1 , X = [ 1 x 11 … x 1 p 1 x 21 … x 2 p ⋮ ⋮ ⋱ ⋮ 1 x N 1 … x N p ] N × ( p + 1 ) \bm{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots\\ \beta_p \end{bmatrix}_{(p+1) \times1}, \space \space \space \space \space \bm{y} = \begin{bmatrix} y_0 \\ y_1 \\ \vdots\\ y_N \end{bmatrix}_{N \times1}, \space \space \space \space \space \bm{X} = \begin{bmatrix} \space 1 \space\space x_{11} \space\space \dots \space\space x_{1p} \\ \space 1 \space\space x_{21} \space\space \dots \space\space x_{2p} \\ \vdots \space \space\space \space \space \vdots \space \space \space \space \space ⋱ \space \space \space \space \vdots\\ \space 1 \space\space x_{N1} \space\space \dots \space\space x_{Np} \end{bmatrix}_{N \times (p+1)} β=⎣⎢⎢⎢⎡β0β1⋮
最低0.47元/天 解锁文章
1305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
