【应用回归分析】CH3 回归参数的估计1——最小二乘估计

最新推荐文章于 2024-07-23 09:53:31 发布

管理学phd

最新推荐文章于 2024-07-23 09:53:31 发布

阅读量3.4k

点赞数

分类专栏：应用回归分析文章标签：回归算法机器学习

本文链接：https://blog.csdn.net/m0_72318954/article/details/127256093

版权

本文详细介绍了回归参数的最小二乘估计方法，包括经验线性回归方程、中心化和标准化的经验线性回归方程。通过具体例子阐述了如何利用最小二乘法求解一元线性回归的参数估计，并探讨了该方法在处理不同情况下的应用，如中心化和标准化处理，以适应不同自变量的单位和范围差异。

摘要由CSDN通过智能技术生成

前言

估计回归参数的最基本方法是最小二乘法。这个方法不仅仅在统计学中，就是在数学的其他分支，例如运筹学、计算数学、逼近论和控制论等，都是很重要的求解方法。本章前三节我们首先讨论如何应用最小二乘法求回归参数的最小二乘估计，并研究这种估计的基本性质。在本文四五部分，我们讨论了当有了一批实际数据后，如何考察导出最小二乘估计的基本假设的适用性以及当这些假设不适用时，对数据应该做的变换，即 $Box-Cox$ 变换。在本文第六部分我们讨论了广义最小二乘估计。在一些情况下，最小二乘估计并不是一个好的估计，于是统计学家提出了一些新的估计。在本文最后两部分，我们将讨论其中最重要的两种估计——岭估计和主成分估计。

一、经验线性回归方程

1.未知参数的估计

假设 $Y$ 为因变量， $X_{1},\cdots ,X_{p-1}$ 为对 $Y$ 有影响的 $p-1$ 个自变量，并且他们之间具有线性关系 $Y=\beta _{0}+\beta _{1}X_{1}+\cdots+\beta _{p-1}X_{p-1}+e(3.1.1)$ ，其中 $e$ 为误差项，它表示除了 $X_{1},\cdots ,X_{p-1}$ 之外其他因素对 $Y$ 的影响以及试验或测量误差。 $\beta _{0},\beta _{1},\cdots,\beta _{p-1}$ 是待估计的未知参数。

假设我们有了因变量 $Y$ 和自变量 $X_{1},\cdots ,X_{p-1}$ 的 $n$ 组观测值：

$(x_{i1},\cdots,x_{i,p-1},y_{i}),i=1,\cdots,n$

他们满足 $y_{i}=\beta _{0}+x_{i1}\beta _{1}+\cdots+x_{i,p-1}\beta _{p-1}+e_{i},i=1,\cdots,n(3.1.2)$ 。误差项 $e_{i},i=1,\cdots,n$ 满足如下假设（ ${\color{Red} Gauss-MarKov}$ 假设 ${\color{Red} (3.1.3)}$ ）：

$E(e_{i})=0$
$Var(e_{i})=\sigma ^2$ （等方差）
$Cov(e_{i},e_{j})=0,i\neq j$ （不相关）

若用矩阵形式， $(3.1.2)$ 变形为：

$\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{n} \end{pmatrix}=\begin{pmatrix} 1 &x_{11} &\cdots &x_{1,p-1} \\ 1& x_{21}& \cdots &x_{2,p-1}\\ \vdots & \vdots & &\vdots \\ 1& x_{41} &\cdots &x_{n,p-1} \end{pmatrix}\begin{pmatrix} \beta _{0}\\ \beta _{1}\\ \vdots \\ \beta _{p-1} \end{pmatrix}+\begin{pmatrix} e_{1}\\ e_{2}\\ \vdots\\ e_{n} \end{pmatrix}$

等价地， $y=X\beta +e,(3.1.4)$ 。 $y$ 是 $n*1$ 的变量观测向量， $X$ 为 $n*p$ 的已知设计矩阵， $\beta$ 为 $p*1$ 未知参数向量， $e$ 为随机误差向量。用矩阵形式可将 ${\color{Red} Gauss-MarKov}$ 假设 ${\color{Red} (3.1.3)}$ 写成：