概率论和数理统计(二) 数字特征与大数定律

前言

有了“概率”数据,怎么反应情况.数学期望与方差,大数,极限

数学期望

期望是数字特征之一,其描述的是随机试验在同样的机会下重复多次，所有那些可能状态的平均结果.

平均数和加权平均数

离散型随机变量期望

连续型随机变量期望

随机变量函数的期望

$g(x,y)$是要求期望的表达式,即E(Y),表达式为$0\ast X+Y$

二维随机变量函数的期望

期望的性质

从1,2可以推出$$E(CX+b)=CE(X)+b$$

条件期望

方差

方差是数字特征之一,方差用来度量随机变量和其数学期望（即均值）之间的偏离程度,即稳定性

公式及性质

标准化随机变量

变量的标准化是处理数据时的一个常用技巧，我们希望可以对随机变量的分布进行简化，而标准化变量提供了一条解决途径

根据随机变量期望与方差的性质，E(X*)=0，D(X*)=1,所以我们称随机变量X*为X的标准化变量

常见分布的期望与方差

• 离散型(0-1分布、二项分布、几何分布、泊松分布、超几何分布)
• 连续型(均匀分布、指数分布、正态分布)
  

协方差

协方差用来刻画两个随机变量 $X$，$Y$ 之间的相关性

• 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
• 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

通过化简推出

1. $Cov(X,Y)=Cov(Y,X)$
2. $Cov(C,X)=0,C为常数$
3. $Cov(X,Y)=0,X,Y相互独立$

离散型协方差

连续型协方差

相关系数

协方差反应方向,程度由相关系数确定.

关于公式$p_{xy}$的理解

相关系数定理证明

矩函数

矩的本质是描述物体的形状——更进一步的来说——就是在描述质点的分布.即是重要的数字特征.

期望值是原点矩,二除中心矩则是方差

大数定律

伯努利大数定律

切比雪夫大数定律

中心极限定理

在统计活动中，人们发现，在相同条件下大量重复进行一种随机实验时，一件事情发生的次数与实验次数的比值，即该事件发生的频率值会趋近于某一数值。重复次数多了，这个结论越来越明显。这个就是最早的大数定律。一般大数定律讨论的是n个随机变量平均值的稳定性。

而中心极限定理则是证明了在很一般的条件下，n个随即变量的和当n趋近于正无穷时的极限分布是正态分布。

一句话解释：大数定律讲的是样本均值收敛到总体均值，说白了就是期望,而中心极限定理告诉我们，当样本足够大时，样本均值的分布会慢慢变成正态分布

林德贝格-列维中心极限定理

棣莫弗-拉普拉斯中心极限定理

主要参考

《第四章 随机变量的数字特征》
《概率论-6.数字特征与大数定律》
《大数定律和中心极限定理》
《第五章 大数定律和中心极限定理》
《概率论-7.正态分布与中心极限定理》
《大数定律和中心极限定理的区别和联系》