先从基本概念讲起。
期望
对于一个随机变量
,它在取不同值时的概率用函数
表示。比如色子的点数是一个随机变量,它为1的概率可以表达成
,这与我们代数中的函数有点不同,代数中的函数是输入一个确切的数,而这里不是。我甚至可以用
来表示投硬币为正面的概率。不过,本文其余部分都要求概率函数的输入值是数字。 期望表示随机变量的中心位置。例如你投色子很多次,最后计算的点数平均值应该是所有点数的均值,因为出现每种点数的概率相同。如果概率不同,则需要用概率加权,于是我们的期望公式就是:
它表示把每一种可能的输出的值乘以其概率后求和。
性质1: 期望的线性关系
对于两个相互独立的随机变量
,我们有:
这个就不做证明了,举一个直观例子说明:有2个色子各自投掷,两者的期望都是
,那么问两个色子之和的期望,显然是
。这是可以直观认知的。用
表示一个常数,它只是缩放每一个随机变量的值而已,进一步推广我们有:
性质2: 样本均值的期望
假定有一个随机变量
的期望值和方差分别是
。现在对这个数据集进行随机抽样(有放回的抽样,因为我需要保证整体的分布是不变的),抽到的样本一个一个的数据用
表示,现在试求