机器学习基础专题：随机变量

术语

样本空间(sample space)：$\Omega$，包含了所有可能出现的结果的集合。比如在掷一次骰子的样本空间可以用{1,2,3,4,5,6}表示。

事件集(event space): $F$，a collection of subsets of $\Omega$，用来表示出现的结果。事件集未必是样本空间中的单一元素，也可以是复杂元素。比如在掷一次骰子的样本空间中，可以用{1,3,5}表示结果为奇数的事件。

概率函数(probability function): $P$，该函数完成了从事件到该事件发生概率的映射。

概率法则

贝叶斯

A的先验概率(prior probability of A): P(A)

A的后验概率(posterior probability of an event A given B): P(A|B)
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

独立事件

事件$A_1,A_2,...,A_n$相互独立，当且仅当该事件集合的所有子集满足条件$P(A_{i1},A_{i2},...,A_{ik})={\prod }_{j=1}^{k}P(A_{ij})$

最大后验概率

Maximum-a-posteriori (MAP)。

假设$x,y$都是离散的。
$$\begin{gathered} \hat{y}=f(x)=argma{x}_{y}p(y|x) \\ =argma{x}_{y}p(x|y)p(y) \\ =argma{x}_{y}p(x,y) \end{gathered}$$
假设$x$是连续的，$y$是离散的。
$$\begin{gathered} \hat{y}=f(x)=argma{x}_{y}p(y|x) \\ =argma{x}_{y}f(x|y)p(y) \end{gathered}$$
缺点

1. 随机变量相互独立的假设通常不成立
2. 训练集中未出现某个值的样本导致概率为0，可以通过smoothing解决

信息熵

对于每一个事件，我们从它的发生能够获取到的信息是$log(\frac{1}{P(A)})$。这一个公式其实是符合我们的直觉。如果一个事件不常发生，那么当它发生的时候，透露的信息应该会比常见事件透露的信息更多。

信息熵的定义如下，
$$H(X)=-\sum _{i=1}^{m}p(x_i)lo{g}_{2}p(x_i)$$

随机变量

一般来说，我们使用大写字母表示随机变量本身，用对应的小写字母代表该变量的取值。

可以从CDF分辨一个随机变量是离散变量、连续变量、抑或是两者都不是。

离散变量

满足条件$P(X\in \mathcal{X})=1$ for some countable set $\mathcal{X}\subset R$。

离散变量可以被其概率质量函数充分说明。

概率质量函数

probability mass function (pmf)。定义$p(x)=P(X=x)\forall x\in X$。

性质：

1. $p(x)\ge 0$
2. ${\sum }_{x\in X}p(x)=1$

我们常用记号$X\sim p(x)$来表示X的pmf是p(x)。

累积分布函数

cumulative density function (cdf)。定义$F(x)=P(X\le x)$。

性质

1. $F(x)\ge 0$，且单调非递减

2. $li{m}_{x->\infty }F(x)=1$，$li{m}_{x->-\infty }F(x)=0$

3. $F(x)$ 是右连续的，即$li{m}_{x->a^{+}}F(x)=F(a)$

4. $P(X=a)=F(a)-li{m}_{x->a^{-}}F(a)$

经典的离散变量

Bernoulli

$p(x)=px+(1-p)(1-x);x\in$