一文看不懂方差和标准差

最新推荐文章于 2024-10-07 23:15:53 发布

二分掌柜的

最新推荐文章于 2024-10-07 23:15:53 发布

阅读量8.9k

点赞数 2

分类专栏：深度学习基础文章标签：方差标准差 variance

本文链接：https://blog.csdn.net/flyfish1986/article/details/108475721

版权

深度学习基础专栏收录该内容

61 篇文章 23 订阅

订阅专栏

一文看不懂方差和标准差

flyfish

以例子说明什么是均值（Mean），方差（Variance）和标准偏差(（Standard Deviation）

测量狗的高度(毫米)
在这里插入图片描述

高度（在肩部）为：600mm，470mm，170mm，430mm和300mm。

找出均值（Mean），方差（Variance）和标准偏差(（Standard Deviation）。

mean在就是average的意思表示平均水平
第一步是找到均值：

$\begin{aligned} \text { Mean } &=\frac{600+470+170+430+300}{5} \\ &=\frac{1970}{5} \\ &=394 \end{aligned}$
平均高度是394毫米。看绿色的线段，我们把它画在图表上。
在这里插入图片描述

现在我们计算每只狗与平均值的差（difference）
在这里插入图片描述

要计算方差，需要对每个差进行平方，然后对结果进行平均.

方差（Variance）
$\begin{aligned} \sigma^{2} &=\frac{206^{2}+76^{2}+(-224)^{2}+36^{2}+(-94)^{2}}{5} \\ &=\frac{42436+5776+50176+1296+8836}{5} \\ &=\frac{108520}{5} \\ &=21704 \end{aligned}$
方差是21704

标准偏差=标准差
标准差就是方差的平方根
标准偏差（Standard Deviation）

$\begin{aligned} \sigma &=\sqrt{21704} \\ &=147.32 \ldots \end{aligned}$
约等于147

我们在一个标准偏差(147毫米)范围内显示高度
在这里插入图片描述
因此，使用标准差，我们可以通过“标准”方式了解什么是正常的，什么是特大或超小。
结论是罗特韦尔犬是高大的狗,腊肠有点短。

标准差是衡量数字分布的一种方法
所以把上面的计算方法变成公式是
在这里插入图片描述

问题一：为什么是差的平方？

把差之后的数，直接加起来，行不行？
把差之后的数，算绝对值，再加起来，行不行？

假设有这样的两组4个数
第一组是 $9 、 9 、 1 、 1$
第二组是 $12 、 6 、 - 1 、 3$

计算第一组
$均值 = （ 9 + 9 + 1 + 1 ） / 4 = 5$
计算各个数与均值差多少
$\begin{array}{l} 9-5=4 \\ 9-5=4 \\ 1-5=(-4) \\ 1-5=(-4) \end{array}$
可视化看一下
在这里插入图片描述

直接加起来0
$\frac{4+4-4-4}{4}=0$
用绝对值的方法算是4
$\frac{|4|+|4|+|-4|+|-4|}{4}=\frac{4+4+4+4}{4}=4$
用平方的方法算是4

在这里插入图片描述

计算第二组
$（ 12 + 6 + （ - 1 ） + 3 ） / 4 = 5$
计算各个数与均值差多少
$\begin{array}{l} 12-5=7 \\ 6-5=1 \\ -1-5=(-6) \\ 3-5=(-2) \end{array}$

可视化看一下
在这里插入图片描述

直接加起来是0
用绝对值的方法算是4
$\frac{|7|+|1|+|-6|+|-2|}{4}=\frac{7+1+6+2}{4}=4$
用平方的方法算是4.74

在这里插入图片描述

我们希望的是当差异分布得越广，标准差就越大。用平方算，这是其中一个理由。

教科书《概率论与数理统计》浙江大学第四版的答案是
$E\{|X-E(X)|\}$ 能度量随机变量与其均值 $E (X)$ 的偏离程度。但由于上式带有绝对值，运算不方便，通常用量 $E\left\{[X-E(X)]^{2}\right\}$ 来度量随机变量 $X$ 与其均值 $E (X)$ 的偏离程度。

方差的定义

这样定义就有了
设 $X$ 是一个随机变量，若 $E\left\{[X-E(X)]^{2}\right\}$ 存在，则称 $E\left\{[X-E(X)]^{2}\right\}$ 为 $X$ 的方差，记为 $D (X)$ 或Var(X)。
即 $D(X)=\operatorname{Var}(X)=E\left\{[X-E(X)]^{2}\right\}$ ，而 $\sigma(X)=\sqrt{D(X)}=\sqrt{E\left\{[X-E(X)]^{2}\right\}}$ 称为标准差或均方差。
他说的运算不方便是怎么回事呢？
人手工算还是计算机算，在什么情况下运算不方便？

看看其他人相关的回答真的很精彩
why-is-it-so-cool-to-square-numbers-in-terms-of-finding-the-standard-deviation

why-square-the-difference-instead-of-taking-the-absolute-value-in-standard-devia

Revisiting a 90-year-old debate: the advantages of the mean deviation

方差这个词是怎么来的呢？

罗纳德·费雪（Ronald Fisher 1890-1962）
现代统计学与现代演化论的奠基者之一，最大似然估计就是他发明的。
第一次世界大战时期他也发表了许多与生物统计相关的论文，包括《孟德尔遗传假定下的亲戚之间的相关性》（The Correlation Between Relatives on the Supposition of Mendelian Inheritance）。这篇论文在1916年完成，并在1918年发表，它同时建立了以生物统计为基础的遗传学，以及著名的统计学分法变异数分析（analysis of variance，简写为ANOVA，也称方差分析）。方差一词就是从他的论文《The Correlation Between Relatives on the Supposition of Mendelian Inheritance》提出的。
标准差的公式有两个
总体标准差（Population Standard Deviation）和样本标准差（Sample Standard Deviation）