几何分布的期望_概率论笔记2--离散随机变量、数学期望和方差

有的材料按照 一维离散 -> 一维连续 -> 多维离散 -> 多维连续的角度讲解。

我比较喜欢先讲清楚离散，再扩展到连续。

这也跟 MIT 6.041 课程 的编排一致

1. 随机变量和随机过程，不一样。要区分开。
2. 独立性，依旧是一个重要议题。在伯努利“独立”重复实验相关的计算中，很实用。
3. Geometric 和 Binomial 分布的 PMF，期望，方差公式和推导过程。
4. 随机变量的分布函数
   在下一篇讨论: 概率论笔记3--连续随机变量、数学期望和方差

目录

1. 随机变量定义。是 function，而非 variable
2. PMF 公式。how to compute（图）, Geometric, Binomial
3. 数学期望。
   ,
4. 方差
5. 条件 PMF 和条件期望。在新的样本空间里，缩放 PMF。
6. Geometric PMF 期望计算。Memoryless & Total Expectation theorem
7. 联合分布和边缘分布。
8. 独立性。独立联合分布的 E 和 Var 计算。
9. Binomial means and variance。

1. Random variables 随机变量的定义

An assignment of a value (number) to every possible outcome.

Mathematically: A function from the sample space Ω to the real numbers.

随机变量，不是一个变量，而是一个 function(函数)。

一个 sample space 可以定义多个 Random variables，即多个特征。

比如，sample space 是一个班级里的所有学生，Random variables 可以是身高函数、体重函数。

Notation:

• random variable X -- 大写
• numerical value x -- 小写

2 个性质：

2. Probability mass function (PMF) 分布律

两种写法：

分布律也可以用表格的形式表示，如

How to compute a PMF

：

• collect all possible outcomes for which X is equal to x
• add their probabilities
• repeat for all x

找准 sample space 里的所有互斥事件，并满足

，

找准 random variable 的所有取值，同样满足 sum = 1

找准映射关系，累加起来。

2.1. Example：Geometric PMF 几何分布的 PMF

几何级数：X = number of coin tosses until first had

几何级数的 PMF：

等比数列

2.2. Example: Binomial PMF 二项分布的 PMF

二项分布：X = number of heads in n independent coin tosses

二项分布的 PMF:

3. Expectation 数学期望

加权求平均。

center of gravity of PMF -- 计算 PMF 图形很规则的 E[X] 时，可以直接写出结果。

级数绝对收敛

关键公式：

作为对比，如果不是线性函数，

关键公式的推导：从 sample space 到 X 再到 Y 的转换，可以以 sample space 为最小 element 计算，也可以以 X 为最小 element 计算 Y。

如果以 X 计算，那就是 x 的值 g(x) 乘以对应的分布律

性质：

线性函数的数学期望，等于数学期望的线性函数。

如果不是线性函数，则不满足, 即

4. Variance 方差

推导过程，反复使用 ：

5. Conditional PMF and expectation 条件 PMF 和条件期望

在新的样本空间里重新计算 PMF 和 expectation 即可。

没有新的概念和知识，但在计算中很实用。

在这个特例中，加条件前后的样本空间，PMF 形状不变，只是少了 X=1.

将剩下的概率值做一次缩放即可，从 1/4 缩放到 1/3

6. Geometric PMF, Memoryless Property & Total Expectation theorem

几何级数：X = number of coin tosses until first had

几何级数的 PMF：

用代数推导的过程：

两边同乘 (1-p), 得

旧式 减 新式 ，

左侧，得到

右侧错位相减，得到

所以，

Memoryless Property: Given that X > 2, 1/4 the r.v. X − 2 has same geometric PMF

与前面的条件 PMF 一样，曲线形状不变，做一次放缩。

Total Expectation theorem：

利用全概率公式

Geometric Example:

其中，

事件

，只有一个事件，且值为 1（投掷次数）。所以，

事件

，

7. Joint PMFs and marginal PMFs 联合分布和边缘分布

在一个 sample space 上可以定义多个随机变量，比如，学生的身高

和体重

.

随机变量之间，不一定独立，需要作为一个整体来研究。

类似一维随机变量的分布律，二维的叫 联合分布律，也可以用二维表格表示。

关于 X 的边缘分布律

关于 Y 的边缘分布律

三维的条件分布律

8. independence 独立性

X, Y, Z 相互独立：

注意，此处的 X，Y，Z 来自同一个 sample space。

9. Binomial means and variance 二项分布的数学期望和方差

二项分布是 N 重独立实验，利用独立性计算期望和方差，可以口算。

由

可知，

时，方差最大，不确定性最大。

Reference:

• MIT 6.041 Probabilistic Systems Analysis and Applied Probability, Fall 2010 Video 5-7
• 概率论与数理统计 -- 浙江大学 chapter 2-4