机器学习/深度学习 常用概率知识

1.样本空间

定义：样本空间是一个随机试验所有可能结果的集合。比如：投掷一枚硬币，样本空间为：{正面，反面}。随机试验中的每个可能结果叫做样本点。

有些试验有两个或者多个的样本空间，比如：随机抽取一张扑克，样本空间可以是数字，可以是花色。这时候，如果要完整描述一张牌，就要使用到笛卡尔积。

χ × y = { < x , y > ∣ x ∈ χ ∧ y ∈ y } (式1) \chi\times\mathbb{y}=\{<x,y>\vert{x}\in\chi\land{y}\in{\mathbb{y}}\}\tag{式1} χ×y={<x,y>∣x∈χ∧y∈y}(式1)

2.事件和概率

随机事件或者（简称为事件）：是指一个被赋予概率的事物集合，也就是样本空间中的一个子集。概率是指一个随机事件发生的可能性大小，介于0和1之间。

2.1 随机变量

在随机试验中，将试验的结果用$X$表示，这个$X$会随着试验结果的不同而变化，是样本点的一个函数。把这个数叫做随机变量。比如掷骰子：随机变量$X$的取值为 { 1 , 2 , 3 , 4 , 5 , 6 } \{1,2,3,4,5,6\} {1,2,3,4,5,6}。

一个随机事件也可以定义多个随机变量。比如：在掷2个骰子的随机事件中，可以定义随机变量$X$为获得点数之和，或者点数之差。分别记为：$X和Y$
$$X(i,j):=i+j,x=2,3,\cdots ,12\text{\hspace{1em}(式2)}$$

$$Y(i,j):=i-j,y=0,1,2,3,4,5\text{\hspace{1em}(式3)}$$

其中，$i，j$分别表示两个骰子的点数。

2.1.1 离散随机变量

离散随机变量：如果随机变量$X$所有可能取到的值是有限的可以列举的，有$N$个有限值：
{ x 1 , ⋯   , x N } (式4) \{x_1,\cdots,x_N\}\tag{式4} {x1​,⋯,xN​}(式4)
这样一来，我们就把$X$叫做离散随机变量。

记每一种可能的取值都有$x_n$的概率， P ( X = x n ) = p ( x n ) ∀ n ∈ { 1 , ⋯   , N } P(X=x_n)=p(x_n)\qquad{\forall_n\in\{1,\cdots,N\}} P(X=xn​)=p(xn​)∀n​∈{1,⋯,N}

这里面的$p(x_1),\cdots ,p(x_N)$称为离散随机变量的概率分布，或者分布，满足：
∑ n = 1 N p ( x n ) = 1 p ( x n ) ≥ 0 , ∀ n ∈ { 1 , ⋯   , N } (式5) \sum_{n=1}^{N}p(x_n)=1 \qquad{p(x_n)\ge0,\forall_n\in\{1,\cdots,N\}}\tag{式5} n=1∑N​p(xn​)=1p(xn​)≥0,∀n​∈{1,⋯,N}(式5)
常见的离散随机变量的概率分布有：

（1）伯努利分布：

在一次试验中，事件$A$发生的概率为$\mu$,则不发生的概率为：$1-\mu$。使用$X$表示事件$A$出现的次数，则$X$取值为0和1，分布表示如下：
$$p(x)={\mu }^x(1-\mu {)}^{(1-x)}\text{\hspace{1em}(式6)}$$
如上分布叫做伯努利分布，也叫做两点分布或者0-1分布。

（2）二项分布：

在$n$次伯努利试验中，使用$X$表示事件$A$出现的次数，则$X$取值为： { 0 , ⋯   , N } \{0,\cdots,N\} {0,⋯,N}，分布表示如下：
$$P(X=k)=C_N^k{\mu }^k(1-\mu {)}^{N-k}k=0,\cdots ,N\text{\hspace{1em}(式7)}$$
其中，$C_N^k$表示二项式系数，表示从$N$各元素中取出$k$个元素，且不考虑其顺序的组合的总数。

2.1.2 连续随机变量

和离散型随机变量相比，不同之处在于：连续随机变量$X$的取值是不可列举的，由全部实数或者由一部分区间组成，比如：
X = { x ∣ a ≤ x ≤ b } , − ∞ < a < b < ∞ (式8) X=\{x\vert{a\le{x}\le{b}\}},\qquad{-\infty<a<b<\infty}\tag{式8} X={x∣a≤x≤b},−∞<a<b<∞(式8)
这样子就把$X$称之为连续随机变量 ，连续随机变量的取值是不可数及无穷尽的。

连续随机变量$X$的概率分布一般使用概率密度函数$p(x)$来描述，$p(x)$可积，满足：
$${\int }_{-\infty }^{\infty }p(x)dx=1\text{\hspace{1em}(式9)}$$
常见的连续随机变量的概率分布有：

（1）均匀分布：

若$a,b$为有限的数，$[a,b]$上的均匀分布的概率密度函数定义如下：
$$p(x)=\{\begin{array}{l}\frac{1}{b-a}a\le x\le b\\ 0x<a或者x>b\end{array}\text{\hspace{1em}(式10)}$$

（2）正态分布：

正态分布也叫做高斯分布，应用领域很多，概率密度函数如下:
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(式11)}$$
其中，$\sigma >0$,$\mu 和\sigma$均为常数。如若，随机变量$X$服从一个参数为$

\mu和\sigma$的概率分布，则简记为：
$$X\sim \mathcal{N}(\mu ,{\sigma }^2)\text{\hspace{1em}(式12)}$$
当$\mu =0,\sigma =1$时，称为标准正态分布。

均匀分布和正态分布的图示如下：

2.1.3 累积分布函数

对于一个随机变量$X$，其累积分布函数是随机变量$X$的取值小于等于$x$的概率。
$$cdf(x)=P(X\le x)\text{\hspace{1em}(式13)}$$
以连续随机变量$X$为例，其累积分布函数定义如下：
$$cdf(x)={\int }_{-\infty }^{x}p(t)dt\text{\hspace{1em}(式14)}$$
其中，$p(x)$为概率密度函数，标准正态分布和累积分布的概率密度函数如下：

2.2 随机向量

随机向量是指一组随机变量构成的向量。如：$X_1,X_2,\cdots ,X_k$为$K$个随机变量，那么称$\mathbf{X}=[X_1,X_2,\cdots ,X_k]$为一个$K$维的随机向量。一维随机向量称为随机变量。

随机向量也分为：离散随机向量和连续随机向量。

2.2.1 离散随机向量

离散随机向量的联合概率分布为：
$$P(X_1=x_1,X_2=x_2,\cdots ,X_K=x_K)=p(x_1,x_2,\cdots ,x_K)\text{\hspace{1em}(式15)}$$
其中，$x_k\in {\Omega }_k$为变量$X_k$的取值，${\Omega }_k$为变量$X_k$的样本空间。和离散随机变量类似有：
$$p(x_1,x_2,\cdots ,x_K)\ge 0,\forall x_1\in {\Omega }_1,x_2\in {\Omega }_2,\cdots ,x_K\in {\Omega }_K\text{\hspace{1em}(式16)}$$

$$\sum _{x_1\in {\Omega }_1}\sum _{x_2\in {\Omega }_2}\cdots \sum _{x_K\in {\Omega }_K}p(x_1,x_2,\cdots ,x_K)=1\text{\hspace{1em}(式17)}$$

（1）多项分布：

多项分布是常见的离散向量概率分布，多项分布是二项分布在随机向量的推广。假设一个袋子中装了很多球，总共有$K$个不同的颜色. 我们从袋子中取出$N$个球. 每次取出一个球时，就在袋子中放入一个同样颜色的球. 这样保证同一颜色的球在不同试验中被取出的概率是相等的. 令$\mathbf{X}$为一个$K$维随机向量，每个元素$X_k(k=1,\cdots ,K)$为取出的$N$个球中颜色为$k$的球的数量，则$X$服从多项分布，其概率分布为:
$$p(x_1,\cdots ,x_K|\mathbf{\mu })=\frac{N!}{x_1!\cdots x_K!}{\mu }_1^{x_1}\cdots {\mu }_K^{x_K}\text{\hspace{1em}(式18)}$$
多项分布的概率分布用gamma函数表示如下：
$$p(x_1,\cdots ,x_K|\mathbf{\mu })=\frac{\Gamma ({\sum }_k{x}_k+1)}{{\prod }_k\Gamma (x_k+1)}\prod _{k=1}^K{\mu }_k^{x_k}\text{\hspace{1em}(式19)}$$

这种形式表示和狄利克雷分布类似，狄利克雷分布可以作为多项分布的共轭先验。

$${\int }_0^{+\infty }{x}^{\alpha -1}{e}^{-x}dx=\Gamma (\alpha )\text{\hspace{1em}(式20)}$$

例如：${\int }_0^{+\infty }{x}^5{e}^{-x}dx=\Gamma (6)$。

2.2.2 连续随机向量

一个$K$维连续随机向量$\mathbf{X}$的联合概率密度函数满足：
$$p(\mathbf{x})=p(x_1,\cdots ,x_K)\ge 0\text{\hspace{1em}(式21)}$$

$${\int }_{-\infty }^{+\infty }\cdots {\int }_{-\infty }^{+\infty }p(x_1,\cdots ,x_K)d{x}_1\cdots d{x}_K=1\text{\hspace{1em}(式22)}$$

（1）多元正态分布：

也叫做多元高斯分布，如若$K$维随机向量$\mathbf{X}=[X_1,\cdots ,X_K{]}^T$服从$K$元正态分布，其密度函数为：
$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\sum {|}^{1/2}}exp(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\sum }^{-1}(\mathbf{x}-\mathbf{\mu }))\text{\hspace{1em}(式23)}$$
其中，$\mathbf{\mu }\in {\mathbb{R}}^K$为多元正态分布的均值向量，$\sum \in {\mathbb{R}}^{K\times K}$为多元正态分布的协方差矩阵，$|\sum |$为行列式。

（2）各项同性高斯分布：

如果一个多元高斯分布的协方差矩阵简化为$\sum ={\sigma }^2\mathbf{I}$，即每一个维度随机变量都独立而且方差相同。那么这个多元高斯分布就称为：各项同性高斯分布。

（3）狄利克雷分布：

一个$K$维随机向量$\mathbf{X}$的狄利克雷分布为：
$$p(\mathbf{x}|\mathbf{\alpha })=\frac{\Gamma ({\alpha }_0)}{\Gamma ({\alpha }_1)\cdots \Gamma ({\alpha }_k)}\prod _{k=1}^K{x}_k^{{\alpha }_{k-1}}\text{\hspace{1em}(式24)}$$
其中的$\mathbf{\alpha }=[{\alpha }_1,\cdots ,{\alpha }_k{]}^T$为狄利克雷分布的参数。

2.3 边际分布

对于二维离散随机向量$(X,Y)$，假设$X$取值空间为${\Omega }_x$,$Y$取值空间为${\Omega }_y$,则其联合概率分布满足:
$$p(x,y)\ge 0,\sum _{x\in {\Omega }_x}\sum _{y\in {\Omega }_y}p(x,y)=1\text{\hspace{1em}(式25)}$$
对于联合概率分布$p(x,y)$，分别对$x$和$y$进行求和。

（1）对于固定的$x$:
$$\sum _{y\in {\Omega }_y}p(x,y)=p(x)\text{\hspace{1em}(式26)}$$
（2）对于固定的$y$:
$$\sum _{x\in {\Omega }_x}p(x,y)=p(y)\text{\hspace{1em}(式27)}$$
由于离散随机向量$(X,Y)$的联合概率分布，对$Y$的所有值进行求和得到$X$的概率分布，对$X$的所有值进行求和得到$Y$的概率分布.这里$p(x)和p(y)$就称为$p(x,y)$的边际分布。

对于二维连续随机向量$(X,Y)$,其边际分布为:
$$p(x)={\int }_{-\infty }^{+\infty }p(x,y)dy\text{\hspace{1em}(式28)}$$

$$p(y)={\int }_{-\infty }^{+\infty }p(x,y)dx\text{\hspace{1em}(式29)}$$

对于一个二元正态分布的边际分布任然为正态分布。

2.4 条件概率分布

对于离散随机向量$(X,Y)$,已知$X=x$的条件下，随机变量$Y=y$的条件概率为：
$$p(y|x):=P(Y=y|X=x)=\frac{p(x,y)}{p(x)}\text{\hspace{1em}(式30)}$$
上式定义了随机变量$Y$关于随机变量$X$的条件概率分布，简称：条件分布。

已知$x$:
$$p(y|x)=\frac{p(x,y)}{p(x)}\text{\hspace{1em}(式31)}$$
已知$y$:
$$p(x|y)=\frac{p(x,y)}{p(y)}\text{\hspace{1em}(式32)}$$

2.5 贝叶斯定理

通过$(式31)和(式32)$，两个条件概率$p(x|y)和p(y|x)$之间的关系为:
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}\text{\hspace{1em}(式33)}$$
这个公式就是贝叶斯定理,或者说是贝叶斯公式。

2.6 独立与条件独立

对于两个离散(或者连续)的随机变量$X和Y$,如果其联合概率(或者联合概率密度函数)满足：
$$p(x,y)=p(x)p(y)\text{\hspace{1em}(式34)}$$
就称$X和Y$相互独立。

对于三个离散（或者连续）随机变量$X,Y和Z$,如果条件概率(或者联合概率密度函数)$p(x,y|z)$满足：
$$p(x,y|z)=p(x|z)p(y|z)\text{\hspace{1em}(式35)}$$
则称，在给定变量$Z$时，$X和Y$条件独立。