【概率论】4-3:方差(Variance)

原文地址1：https://www.face2ai.com/Math-Probability-4-3-Variance转载请标明出处

Abstract: 本文介绍继期望之后分布的另一个重要数学性质，方差
Keywords: Variance,Standard Deviation

方差

这两天更新有点频繁，但是没办法，必须快速的完成的基础知识积累，毕竟时间是有限的，还要留出更多的时间用于更进一步的深入研究，打牢基础的同时尽可能的提升速度。

如果我虚度光阴，那就请结束我的一生。如果你用奉承掐媚愚弄我，那我便自得取乐，如果你用荣华富贵诱惑我，那即便我的末日来临，我也要赌个输赢！

虽然期望很有用，但是并不能够完全的反应分布的信息，这么思考，首先，一个分布是一个公式确定的，这个公式的结构，和参数，如果能用一个参数全部概括，那么我们就有了一个超级模型一样的东西，这显然是不存在的，所以我们要用更多的数字特征来描述，代表一个分布的样子。
本文我们就介绍一款特征可以表示分布的离散程度（英文叫 “spread out”）——方差，他的衍生小弟叫做标准差是他的平方根，目前还不知道有啥特殊用途。

先举个例子，股票。。
一个股波动范围在 $[25,35]$ 之间，均匀分布，第二个股分布在 $[15,45]$ 之间的均匀分布。
那么其图像显示如下：

可见这个图像上，均值一致，都是30，但是分布有着明显区别，我们开始介绍我们的主角——“方差”

方差和标准差的定义 Definitions of the Variance and the Standard Deviation

Definition Variance/Standard Deviation.Let $X$ be a random variable with finite mean $\mu =E(X)$ ,The variance of $X$ denoted by $Var(x)$ ,is defined as follows:
$$Var(X)=E[(X-\mu {)}^2]$$

上面是关于方差和标准差的定义，首先随机变量的必须有一个有限的期望，然后再这个期望的基础上，每个变量和均值做差然后求其平方的期望，一共两步，用到了两次期望，可见方差其实就是随机变量函数的期望，而这个函数内又包含期望的运算。
注意无限的均值，或者不存在均值，都会导致方差无法计算，这是我们说随机变量没有方差，比如柯西分布，没有均值，也就没有方差，可见不是所有分布都有均值和方差的，同样，后面所有用到期望求的数字特征都没有。
方差用希腊字母 ${\sigma }^2$ 表示，标准差用希腊字母 $\sigma$ 表示，这是单个变量的分布时，当有多个变量的时候只需要对$\sigma$ 加以区分就可以，比如加下标 ${\sigma }_a$ so so

那么我们来计算个🌰 ：
计算上面例子中第一种股票的方差：
在$[25,35]$ 的均匀分布
KaTeX parse error: Undefined control sequence: \arrowvert at position 71: …0}\frac{x^3}{3}\̲a̲r̲r̲o̲w̲v̲e̲r̲t̲^5_{x=-5}=\frac…

上面的积分，和积分限的计算请自行打草稿，这里不再赘述了。
下面开始看看方差有哪些定理

Theorem Alternative Method for Calculating the Variance.For every random variable $X$ , $Var(X)=E(X^2)-[E(X){]}^2$

这个定理中文不知道叫啥，二选一定理？不知道，反正结论是方差可以直接用两个期望计算，一个是随机变量的平方的期望，另一个是期望的平方。

证明：
$$\begin{array}{rl}Var(X)& =E[(X-\mu {)}^2]\\ & =E(X^2-2\mu X+{\mu }^2)\\ & =E(X^2)-2\mu E(X)+{\mu }^2\\ & =E(X^2)-{\mu }^2\end{array}$$
Q.E.D

简单的计算过程，用到的性质都是期望的性质，所以又不懂回到前两篇重新研究。

方差和标准差只取决于其分布，而且其实际意义就是随机变量对均值 $\mu$ 的离散程度，值越大说明越分散，相反，越小表示与均值越聚集。
这里可以有个例子，这里我就不写啦，大家自己看书吧

方差的性质 Properties of the Variance

学了定义，该学性质了，看起来方差的性质没有期望多，期望用了整整一课来说明，方差只是一个小section。

Theorem For each $X$ , $Var(X)\ge 0$ .If $X$ is a bounded random varibale,then $Var(X)$ must exist and be finite.

对于所有随机变量，其方差永远是大于等于零的，其为0的情况是当且仅当， $Pr(X=\mu )=1$
如果 随机变量 $X$ 有界，那么其方差必然存在，并且是有限的。

这个定理的证明要靠概念，没有逻辑过程，首先根据定义，方差是个平方，所以其必然大于等于0，又因为方差存在与否取决于两个期望，如果这两个期望都存在，方差没有不存在的理由，故而有界随机变量存在期望，故成立，证毕。

Theorem $Var(X=0)$ if and only if there exists a constant c such that $Pr(X=c)=1$ ,then $\mu =c$ and $Pr[(X-c{)}^2=0]=1$

哈哈，刚才一不小心把这个定理先直播出来了，那么我们就直接证明，证明 if and only if 要证明两个方向：

1. 假设存在一个随机变量 $X$ 和一个常数c 满足 $Pr(X=c)=1$ 那么 $E(X)=c$ 并且 $Pr[(X-c{)}^2=0]=1$ 然后就有了
   $$Var(X)=E[(X-c{)}^2]=0$$

2. 反过来假设 $Var(X)=0$

   • 那么就有 $Pr[(X-\mu {)}^2\ge 0]=1$ 。
   • 但是又因为 $E[(X-\mu {)}^2]=0$ 也就是 $0={\int }_{-\infty }^{\infty }Pr【(x-\mu {)}^2】(x-\mu {)}^{2}dx$
   • 根据定理（ Theorem Suppose that $E(x)=a$ and that either $Pr(X\ge a)=1$ or $Pr(X\le a)=1$ Then $Pr(X=a)=1$）
   • 可以得到
     $$Pr[(X-\mu {)}^2=0]=1$$
     证毕(其实2中用的那个定理有点问题，我还没想明白)

Theorem For constant $a$ and $b$ let $Y=aX+b$ Then
$$Var(Y)=a^{2}Var(X)$$
and ${\sigma }_Y=|a|{\sigma }_X$
定理表明线性关系下，随机变量的方差的变化
证明：令 $\mu =E(X)$ 那么根据上一篇我们有 $E(Y)=aE(X)+b$
$$\begin{array}{rl}Var(Y)& =E[(aX+b-a\mu -b{)}^2]=E[(aX-a\mu {)}^2]\\ & =a^{2}E[(X-\mu {)}^2]=a^{2}Var(X)\end{array}$$

求平方根就能得到关于标准差的公式。
当线性变换中 $a=1$ 的时候就变成给分布搬家了，而其形状完全不变：

图上就是搬家计算了，图例中最后一个是错的，应该是 $x-3$

根据上面定理还能推导出一些其他关系式，比如说：
$$Var(-x)=Var(x)$$

Theorem If $X_1,\dots ,X_n$ are independent random variable with finite means,Then
$$Var(X_1+\cdots +X_n)=Var(X_1)+\cdots +Var(X_n)$$

独立随机变量之和的方差等去其方差之和，证明过程如下：
证明：
我们只证明两个独立随机变量的情况
假设 $E[X_1]={\mu }_1$ 以及 $E[X_2]={\mu }_2$ 然后有
$$E[X_1]+E[X_2]={\mu }_1+{\mu }_2$$

那么
$$\begin{array}{rl}Var(X_1+X_2)& =E[(X_1+X_2-{\mu }_1-{\mu }_2{)}^2]\\ & =E[(X_1-{\mu }_1{)}^2+(X_2-{\mu }_2{)}^2+2(X_1-{\mu }_1)(X_2-{\mu }_2)]\\ & =E[(X_1-{\mu }_1{)}^2]+E[(X_2-{\mu }_2{)}^2]+E[2(X_1-{\mu }_1)(X_2-{\mu }_2)]\\ & =Var(X_1)+Var(X_2)+E[2(X_1-{\mu }_1)(X_2-{\mu }_2)]\end{array}$$
根据随机变量期望的性质
$$\begin{gathered} \text{When }{X}_1\text{ and }{X}_2\text{ are independent} \\ E[2(X_1-{\mu }_1)(X_2-{\mu }_2)]=2\times E[(X_1-{\mu }_1)]E[(X_2-{\mu }_2)]=0 \end{gathered}$$
证毕

这就是关于独立随机变量方差之间的关系，但是如果不是独立的随机变量，他们的方差会是什么样的呢？这是个很有意思的课题，后面我们会介绍相关话题。

Corollary If $X_1,\dots ,X_n$ are independent random varibales with finite means,and if $a_1,\dots ,a_n$ then
$$Var(a_1{X}_1+\cdots +a_n{X}_n)=a^{2}Var(X_1)+\cdots +a_n^{2}Var(X_n)$$

这个推论的证明用到了上面两个已经被证明的定理，所以我们就不用证明了，没错，我又开始偷懒了。。

二项分布的方差 The Variance of a Binomial Distribution

二项式分布的方差：
独立同伯努利分布的随机变量的和是满足二项分布的随机变量，这个我们前面已经说过了，后面下一章还会再说，我们现在就假装知道他们是独立的就行，根据独立随机变量的方差性质。
$$Var(X)=\sum _{i=1}^{n}Var(X_i)$$
然后我们根据二选一定理，某个伯努利随机变量 $Var(X_i)=E(X_i^2)-[E(X_i){]}^2$ 来计算方差，首先要得到 $X_i^2$ 的方差，因为伯努利分布只有0和1，那么$X_i^2$ 也是0和1，故 $X_i^2$ 的分布于原始 $X_i$ 的分布一样，均值是 $p$ （参考不努力分布的期望）那么，我们就有
$$Var(X_i)=E(X_i^2)-[E(X_i){]}^2=p-p^2$$
这是对于某一个随机变量的方差，因为他们互不相关，所以把他们加起来就好了，最后结果：
$$\begin{array}{rl}Var(X)& =\sum _{i=1}^{n}Var(X_i)\\ & =\sum _{i=1}^n(p-p^2)\\ & =np(1-p)\end{array}$$
行了，就这么样了，二项分布的方差就是上面这个了。

四分位数范围 Interquartile Range

我们是否还记得方差的实际意义，他描述的是分布距离均值的离散程度，方差可以没有，也就是说当期望不存在或者无限的时候，方差可以不存在，但是描述分布的离散程度，这个可以有啊，所以我们就提出个新的数字特征，这个特征能帮忙解决没有方差，比如柯西分布，这种特殊的分布的离散程度的刻画。

Definition Interquartile Range(IQR). Let X be a random varibale with quatile function $F^{-1}(p)$ for $0<p<1$ .The interquartile range (IQR) is defined to be $F^{-1}(0.75)-F^{-1}(0.25)$

换句话说，IQR就是四分之一分位数，和四分之三分位数之间的距离。

总结

继期望过后，我们用期望引申出了一个更复杂的，刻画分布另一个性质的期望。
下几篇还是期望，我们本章就叫期望。
待续