信息论：Probability

定义：
随机试验 Experiment: 即呈现不确定性的试验，比如投出骰子
样本空间 Sample space：随机试验所有可能的结果的集合
随机事件 Event：样本空间的子集，可能包含多个元素
随机变量 Random variable：通常是把随机事件用数学方法表示

1. Random variable

RV，通常用 X 表示，是一个函数
这个函数可以将一个实数 x 分配给一个 outcome o，即：
$$X(o)=x$$

其中，$P(X=x)$是随机变量 X 取值为 x 的概率

多个 outcome 可能会映射到同一个实数 x，但不同的数不能分配给同一个 outcome

每个 RV 有他的 range，如果这个 range 里的数有限，或可数无穷，则这是一个离散 RV

掷骰一次产生的结果为：

掷骰两次产生的结果为：

其中 A 是 alphabet

2. CDF, PDF

CDF 是累积分布函数，定义为：

Complementary CDF 为：

PDF 是概率密度函数，定义为：

3. Binomial distribution

如果 RV 满足二项分布，系数为 n 和 p，我们可以将其表示为：
$$X\sim B(n,p)$$

那么，n 次尝试中取得 k 次成功的概率为：

对于 k = 0，1，2，3…，n，可以得到

即 binomial coefficient

4. Conditional probability

这指的是 B 发生的情况下 A 发生的概率，如果 A 和 B 是两个独立的事件，则

5. Chain rule

6. Law of total probability

其中 B1, B2, B3…BN 合起来构成一个完备事件组
其中不同的 B 之间互不相容，且所有 B加起来为全集

7. Baye’s rule

贝叶斯定理讨论了条件概率和边际概率

对于事件A和B，当 B 的概率不为 0，时，有

与上一条全概率相结合，可以得到