概率统计笔记

1、随机变量与概率分布

概率分布用来描述随机变量或者一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是连续的还是离散的

离散型随机变量的概率分布可以用概率质量函数（probability mass function，PMF）描述，PMF可以同时作用于多个随机变量，这种多个变量的概率分布被称为联合概率分布。P ( x = x , y = y ) 表示x = x和y = y同时发生的概率。我们也可以简写为P ( x , y )。

2、贝叶斯定理：是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。

3、方差是衡量源数据和期望值相差的度量值。

4、大数定律：在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。 大数定律分为弱大数定律和强大数定律。

5、极大似然估计：通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。

6、蒙特卡洛方法

(1)构造或描述概率过程

(2)实现从已知概率分布抽样

(3)建立各种估计量

7、Bootstrap方法

Bootstrap法是以原始数据为基础的模拟抽样统计推断法，可用于研究一组数据的某统计量的分布特征，特别适用于那些难以用常规方法导出对参数的区间估计、假设检验等问题。其基本思想是：在原始数据的范围内作有放回的再抽样, 样本容量仍为n，原始数据中每个观察单位每次被抽到的概率相等, 为1/n , 所得样本称为Bootstrap样本。于是可得到参数θ的一个估计值θ^(b)，这样重复若干次，记为B 。

8、EM算法

EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation Maximization Algorithm）。

其基本思想是：首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。