概率论与随机过程（人工智能）

第3课 ： 关于离散随机变量的更多信息

Probability generating functions (pgf, 概率生成函数)

   假设X是一个离散型随机变量，只取非负整数值。X的概率生成函数(pgf)为：

  注:G() 是X的概率质量函数（概率分布函数）G()=

泊松分布的概率生成函数：

  泊松分布概率生成函数 pgf  ：  

 概率生成函数的重要性质：

1： 独立随机变量之和的概率生成函数pgf 等于 各个独立随机变量概率生成函数pgf 的 乘积 。(因分解特性factorization property)

重要性质的相关例子：

  X (参数为) 和 W（参数为）是相互独立的泊松分布随机变量  Y = X+Y ，求Y的概率生成函数

从概率生成函数pgf 恢复 概率质量函数（概率分布函数） 

1. 概率生成函数的一般展开式

 binomial random variable（二项式随机变量）

Cnk 求解方法

 二项分布的概率质量函数（概率分布函数）

   当n很大、p很小的时候，二项分布可以近似看成以参数=np的泊松分布

  二项分布概率生成函数pgf： 

  因为我们可以通过概率生成函数恢复概率质量函数（概率分布函数）（使用求导 z=0的方法），所以若两个随机变量的概率生成函数近似的话，可以得出两个随机变量的概率分布也是近似的。

 弱大数定理（The weak law of large numbers）WLLN

样本均值 Mn

数学期望

 弱大数定理给出的条件：

弱大数定理不等式： 

注  ：区别于切比雪夫不等式写成  |X-EX|

 

相关例题:

*条件概率（Conditional probability）

 

题目翻译：1： 使用光通信系统传输信息i时，光的强度的光射向光电探测器。2：当强度为的光照射到光电探测器上时，产生的光电子数为泊松（）随机变量。

求在发送信息 i 的情况下，光电探测器观察到的光电子数小于 2 的条件概率。

求解翻译：让 X 表示要发送的信息，让 Y 表示光电探测器产生的光电子数。 光电探测器产生的光电子数。

  条件概率的替代法：

例题：设X和Y是相互独立、离散、 整数值的随机变量 （相当于模拟 输入变量X 和 噪声变量Y）

最大后验概率 (MAP)：

最大后验概率 相关结论

*（重点）条件期望 （Conditional expectation）

期望定义

条件期望 ①

条件期望 ②

期望总概率规律

相关例题①：

注 这里的p代表的是未发生的概率 （正常为：p^k*(1-p)）

题目翻译：放射性样本释放α粒子的速度取决于样本的大小。 对于大小为 k 的样本，假设观测到的粒子数为参数为 k 的泊松随机变量 Y。如果样本大小是一个几何分布（p）随机变量 X。

求 P(Y = 0) 和 P(X=1|Y=0)。

从题目分析： 样本大小X是观测到粒子数Y的条件，产生了一个条件概率的题目。

相关例题②：

题目翻译：在样本大小 X = k 的条件下，放射性样本发射的阿尔法粒子的随机数量 Y 为条件泊松分布（参数为k）求 期望E[Y|X = k]。