#机器学习--补充数学基础--概率论

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、概率分布

        定义：
        1）随机变量是可以随机地取不同值的变量，我们通常使用无格式字体中的小写字母，如 $\text{x,y}$ 来表示随机变量本身，而用手写体中的小写字母，如 $x,y$ 来表示随机变量能够取到的值，即一个可能的取值。概率分布用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。

        2）离散型随机变量的概率分布可以用概率质量函数（probability mass function，PMF）来描述，通常用大写字母 $P$ 来表示，PMF将随机变量能够取到的每个状态映射到随机变量取得该状态的概率，例如 $\text{x}=x$ 的概率用 $P(\text{x}=x)$ 来表示，当上下文可以明确时，可以简写为 $P(x)$ 。

        3）连续型随机变量的概率分布可以用概率密度函数（probability density function，PDF）来描述，通常用小写字母 $p$ 来表示。

        4）PMF和PDF可以同时作用于多个随机变量，此时称为联合概率分布，例如 $P(\text{x}=x,\text{y}=y)$ 表示 $\text{x}=x$ 和 $\text{y}=y$ 同时发生的概率，可以简写为 $P(x,y)$ 。

        5）当我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概率分布，这种定义在子集上的概率分布被称为边缘概率分布，对于离散型变量，即$$\forall x\in \text{x},P(\text{x}=x)=\sum _{y}P(\text{x}=x,\text{y}=y)$$        对于连续型变量，即$$p(x)=\int p(x,y)dy$$

        6）设有随机变量 $\text{x,y}$ ，在 $\text{x}=x$ 的前提下随机变量 $\text{y}=y$ 的概率叫做条件概率，记作 $$P(\text{y}=y|\text{x}=x)=\frac{P(\text{x}=x,\text{y}=y)}{P(\text{x}=x)}$$

        定理：
        条件概率的链式法则，任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式：$$P({\text{x}}^1,\dots ,{\text{x}}^n)=P({\text{x}}^1)\prod _{i=2}^{n}P({\text{x}}^i|{\text{x}}^1,\dots ,{\text{x}}^{i-1})$$

---

2、独立性和条件独立性

        1）如果两个随机变量 $\text{x}$ 和 $\text{y}$ 的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含 $\text{x}$ ，另一个因子只包含 $\text{y}$ ，我们就称这两个随机变量是相互独立的，即 $$\forall x\in \text{x},y\in \text{y},p(\text{x}=x,\text{y}=y)=p(\text{x}=x)p(\text{y}=y)$$

        2）如果关于 $\text{x}$ 和 $\text{y}$ 的条件概率分布对于 $z$ 的每一个值都可以写成乘积的形式，那么这两个随机变量 $\text{x}$ 和 $\text{y}$ 在给定随机变量 $z$ 时是条件独立的，即$$\forall x\in \text{x},y\in \text{y},z\in \text{z},p(\text{x}=x,\text{y}=y|\text{z}=z)=p(\text{x}=x|\text{z}=z)p(\text{y}=y|\text{z}=z)$$

---

3、期望、方差和协方差

        1）函数 $f(x)$ 关于某分布 $P(\text{x})$ 的期望是指，当 $x$ 由 $P$ 产生， $f$ 作用于 $x$ 时， $f(x)$ 的平均值，对于离散型随机变量，期望可表示为：$$E_{x\sim P}[f(x)]=\sum _{x}P(x)f(x)$$        对于连续性随机变量，期望可表示为：$$E_{x\sim p}[f(x)]=\int p(x)f(x)dx$$

        2）方差衡量的是当我们对 $x$ 依据它的概率分布进行采样时，随机变量 $\text{x}$ 的函数值会呈现多大的差异，即$$Var(f(x))=E\left[(f(x)-E[f(x)]{)}^2\right]$$

        3）协方差在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度，即$$Cov(f(x),g(y))=E\left[(f(x)-E[f(x)])(g(y)-E[g(y)])\right]$$

        3）随机向量 $x\in R^n$ 的协方差矩阵是一个 $n\ast n$ 的矩阵，即 $Cov(x{)}_{i,j}=Cov(x_i,x_j)$ ，协方差矩阵的对角元是方差，即 $Cov(x_i,x_i)=Var(x_i)$。

---

4、估计、偏差和一致性

        1）点估计试图为一些感兴趣的量提供单个“最优”预测。一般地，感兴趣的量可以是单个参数，或是某些参数模型中的一个向量参数，例如线性回归中的权重 $w$ 。点估计也可以指输入和目标变量之间关系的估计，我们将这种类型的点估计称为函数估计。
        2）偏差的定义如下：$$bias({\hat{\theta }}_m)=E({\hat{\theta }}_m)-\theta$$        其中期望作用在所有数据（看作从随机变量采样得到的）上，$\theta$ 是用于定义数据生成分布的 $\theta$ 的真实值。如果 $bias({\hat{\theta }}_m)=0$ ，那么估计量 ${\hat{\theta }}_m$ 被称为是无偏，这意味着 $E({\hat{\theta }}_m)=\theta$ 。如果 ${\lim }_{m\to \infty }bias({\hat{\theta }}_m)=0$ ，那么估计量 ${\hat{\theta }}_m$ 被称为是渐近无偏，这意味着 ${\lim }_{m\to \infty }E({\hat{\theta }}_m)=\theta$
        3）一般来说，我们希望当数据集中的数据点的数量 $m$ 增加时，点估计会收敛到对应参数的真实值，即 $$pli{m}_{m\to \infty }{\hat{\theta }}_m=\theta$$          符号 $plim$ 表示依概率收敛， 即对于任意的 $ϵ>0$ ，当 $m\to \infty$ 时，有 $P(|{\hat{\theta }}_m-\theta |>ϵ)\to 0$ 。
        上式表示的条件被称为一致性，一致性保证了估计量的偏差会随数据样本数目的增多而减少，但反过来并不成立----渐近无偏并不意味着一致性。因为估计量的方差可能过大，导致即使期望值无偏，估计误差也很大。例如，一个具有无偏性但方差很大的估计量，在样本规模很少时可能会产生很大的误差，而在样本规模很大时误差会逐渐变小，但仍有可能存在一些样本规模下误差较大的情况，因此并不能保证一致性。

---

5、贝叶斯规则

        如果已知 $P(\text{y}|\text{x})$ 和 $P(\text{x})$ ，需要计算 $P(\text{x}|\text{y})$ 时，可以使用贝叶斯规则，即$$P(\text{x}|\text{y})=\frac{P(\text{x})P(\text{y}|\text{x})}{P(\text{y})}$$        其中$$P(\text{y})=\sum _{x}P(\text{y}|\text{x})P(x)$$

---

6、常用概率分布

        1）Bernoulli分布是单个二值随机变量的分布，它由单个参数 $\varphi \in [0,1]$ 控制， $\varphi$ 给出了随机变量等于 $1$ 的概率，具有如下性质：$$P(\text{x}=1)=\varphi$$$$P(\text{x}=0)=1-\varphi$$$$P(\text{x}=x)={\varphi }^x(1-\varphi {)}^{1-x}$$$$E_{\text{x}}[\text{x}]=\varphi$$$$Va{r}_{\text{x}}(\text{x})=\varphi (1-\varphi )$$
        2）Multinoulli分布又称范畴分布，是指在具有 $k$ 个不同状态的单个离散型随机变量上的分布，其中 $k$ 是一个有限值。Multinoulli分布由向量 $p\in [0,1{]}^{k-1}$ 参数化，其中每一个分量 $p_i$ 表示第 $i$ 个状态的概率，最后的第 $k$ 个状态的概率可以通过 $1-1^{T}p$ 给出。

        3）高斯分布又称正态分布，由两个参数 $\mu \in R$ 和 $\sigma \in (0,\infty )$ 控制，其中参数 $\mu$ 给出了中心峰值的坐标，这也是分布的均值： $E[\text{x}]=\mu$ 。分布的标准差用 $\sigma$ 表示，方差用 ${\sigma }^2$ 表示，表达式如下$$\aleph (x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp\left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$
        4）指数分布和Laplace分布，在深度学习中，我们经常会需要一个在 $x=0$ 点处取得边界点的分布，为了实现这一目的，我们可以使用指数分布，即$$p(x;\lambda )=\lambda 1_{x\ge 0}exp(-\lambda x)$$        指数分布用指示函数 $1_{x\ge 0}$ 来使当 $x$ 取负值时的概率为零。
        一个联系紧密的概率分布是Laplace分布，它允许我们在任意一点 $\mu$ 处设置概率质量的峰值，即 $$Laplace(x;\mu ,\gamma )=\frac{1}{2\gamma }exp\left(-\frac{|x-\mu |}{\gamma }\right)$$
        5）Dirac分布和经验分布，有时候，我们希望概率分布中的所有质量都集中在一个点上，可以通过Dirac delta 函数 $\delta (x)$ 定义概率密度函数来实现：$p(x)=\delta (x-\mu )$ 。Dirac分布经常作为经验分布的一个组成部分出现：$$\hat{p}(x)=\frac{1}{m}\sum _{i=1}^m\delta (x-x^i)$$

---

7、常用函数的有用性质

        1）logistic sigmoid函数常用来产生Bernoulli分布中的参数 $\varphi$，因为它的范围是 $(0,1)$ ，处在 $\varphi$ 的有效范围内，其表达式如下 $$\sigma (x)=\frac{1}{1+exp(-1)}$$
        2）softplus函数，它是函数 $x^{+}=max(0,x)$ 的平滑形式，表达式如下$$\zeta (x)=log(1+exp(x))$$