期望 & 均值

本篇为《深度学习》系列博客的第四篇，该系列博客主要记录深度学习相关知识的学习过程和自己的理解，方便以后查阅。

为什么要写这篇博客呢，因为在看PCA的时候看到了协方差矩阵的东西，就牵连出了这篇博客，我之后的博客将会讨论方差和协方差！！！算是PCA的一个知识铺垫。

均值－－统计学概念

均值(平均数 average)是实验后根据实际结果统计得到的样本的平均值。

比如：我们实验结果得出了$x_1,x_2,x_3\dots ..x_n$这$n$个值，那么我们的均值计算是:
$$\frac{1}{N}\ast (x_1+x_2+\dots +x_n)\text{\hspace{1em}(1)}$$

比如：我们进行掷骰子，掷了六次，点数分别为$2，2，2，4，4，4$，这六次的观察就是我们的样本，于是我们可以说均值为$(2+2+2+4+4+4)/6=3$。

但是千万不能说期望是$3$，说期望是$3$就明显的弄混了均值和期望的概念，下面解释一下期望的概念。

方差－－概率论概念

期望是针对于随机变量而言的一个量，可以理解是一种站在“上帝视角”的值。针对于他的样本空间而言的。

期望(expectation)或者期望值(expected value)是实验前根据概率分布“预测”的样本平均值。

之所以说是预测是因为，在实验前能得到的期望与实际实验得到的样本的平均数总会不可避免的存在偏差，毕竟随机实验的结果永远充满着不确定性。

均值是一个统计量(对观察样本的统计)，期望是一种概率论概念，是一个数学特征。

首先给出定义公式
同时期望具有线性性质：
$$E(aX+bY)=AE(X)+bE(Y)\text{\hspace{1em}(2)}$$

那么上面那个掷骰子例子对应的期望求法如下：
$$\begin{gathered} E(X)=1\cdot \frac{1}{6}＋2\cdot \frac{1}{6}＋3\cdot \frac{1}{6}＋4\cdot \frac{1}{6}＋5\cdot \frac{1}{6}＋6\cdot \frac{1}{6} \\ \frac{1+2+3+4+5+6}{6}=3.5\text{\hspace{1em}(3)} \end{gathered}$$

可以看出期望是与概率值联系在一起的

如果说概率是频率随样本趋于无穷的极限 ，期望就是平均数随样本趋于无穷的极限

可以看出均值和期望的联系也是大数定理联系起来的。

期望就是平均数随样本趋于无穷的极限

上面说到期望就是平均数随样本趋于无穷的极限，那么这句话是什么意思呢？

我们还是以上面的掷骰子为例子：

如果我们掷了无数次的骰子，然后将其中的点数进行相加，然后除以他们掷骰子的次数得到均值，这个有无数次样本得出的均值就趋向于期望。类似于下面这样：

$$\frac{(6(点数)+2+3+3+4＋\dots +6)}{无数次}＝均值\approx 期望\text{\hspace{1em}(4)}$$

总结

1. 概率是频率随样本趋于无穷的极限

2. 期望是平均数随样本趋于无穷的极限