辨析：方差和均方误差的联系和区别

最新推荐文章于 2024-08-24 22:35:06 发布

lutsest

最新推荐文章于 2024-08-24 22:35:06 发布

阅读量1.2w

点赞数 9

文章标签：统计学均方误差数据分析

本文链接：https://blog.csdn.net/lw200814/article/details/115700799

版权

方差和均方误差是衡量回归模型预测精度的两个关键指标。方差是数据偏离期望值的平方和的平均数，而均方误差则是预测值与真实值之差的平方和的平均数。当估计量是无偏的，方差与均方误差等价。若估计量有偏，需同时考虑方差和偏差。理解两者之间的关系有助于优化回归模型的性能。

摘要由CSDN通过智能技术生成

在学习回归问题评价指标时，一会遇到方差一会遇到均方误差（Mean Squared Error，MSE），感觉这两长得很像，所以总是搞混，所以进行一下对比：

公式：

方差：

$\begin{equation} S^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \end{equation}{\color{Golden} }$ 、 ${\color{Golden} }{\color{Green} {\color{Blue} }{\color{Orange} }{\color{Green} }\begin{equation} D(x)=E\left\{\sum[X-E(X)]^{2}\right\} \end{equation}}$

均方误差：

${\color{Golden} {\color{Golden} }\begin{equation} m s e=\frac{1}{n} \sum_{i=1}^{n}\left(Y_{i}-\hat{Y}_{i}\right)^{2} \end{equation}}$ 、 $\begin{equation} M S E(\hat{\theta})=E(\hat{\theta}-\theta)^{2} \end{equation}{\color{Golden} }$

概念：

方差：各数据偏离平均值（期望） 差值的平方和的平均数

均方误差：是各数据偏离真实值 差值的平方和的平均数；反映估计量与被估计量之间差异程度的一种度量

区别：方差是平均值，均方误差是真实值。

转换关系：

$\begin{equation} \begin{array}{c} M S E(\hat{\theta})=E\{[\hat{\theta}-E(\hat{\theta})]+[E(\hat{\theta})-\theta]\}^{2} \\ =E[\hat{\theta}-E(\hat{\theta})]^{2}+E[E(\hat{\theta})-\theta]^{2}+2 E\{[\ddot{\theta}-E(\hat{\theta})][E(\hat{\theta})-\theta]\} \\ =D(\hat{\theta})+[E(\hat{\theta})-\theta]^{2} \end{array} \end{equation}{\color{Golden} }$

解释：

均方误差由点估计的方差与偏差的平方两部分组成。

如果 $\begin{equation} \hat{\theta} \end{equation}$ 是θ的无偏估计，则 $\begin{equation} \operatorname{MSE}(\hat{\theta})=D(\hat{\theta}) \end{equation}{\color{Golden} }$ ，此时用均方误差评价点估计与用方差是完全一致的，这也说明了用方差考察无偏估计是合理的。