深度学习数学基础--概率与信息论（1）

3.1 为什么要使用概率

不确定性有三种可能的来源：

1. 被建模系统内在的随机性
2. 不完全观测
3. 不完全建模

---

• 频率派概率（frequentist probability）：概率直接与事件发生的频率相联系
• 贝叶斯概率（Bayesian probability）：涉及确定性水平

在医生诊断病人的例子中，用概率来表示一种信任度（degree of belief）
相同的公理控制两种概率，细节参考 Ramsey（1926）

3.2 随机变量

随机变量（random variable）:是可以随机地取不同值的变量。

通常用无格式字体中的小写字母来表示随机变量本身
用手写体中的小写字母来表示随机变量能够取到的值

eg： $x_1和x_2都是随机变量\mathrm{x}可能的取值$
$对于向量值变量，随机变量写成\mathbf{x},它的一个坑你取值为\mathbf{x}$

3.3 概率分布

概率分布（probability distribution）：用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小

离散型变量和概率质量函数

离散型变量的概率分布可以用概率质量函数（probability mass function，PMF）来描述。通常用大写字母 $P$ 来表示。
通常每一个随机变量都会有一个不同的概率质量函数，必须根据随机变量来推断所使用的PMF，而不是根据函数的名称来推断。
例如 $P(\mathrm{x})$ 通常和 $P(\mathrm{y})$ 不一样

$概率质量函数,也称概率分布律$

---

概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。
$\mathrm{x}=x$ 的概率用 $P(x)$ 来表示，
概率为 1 表示 $\mathrm{x}=x$是确定的
概率为 0 表示 $\mathrm{x}=x$是不可能发生的
有时为了使得PMF的使用不相互混淆，会明确写出随机变量的名称：$P(\mathrm{x}=x)$
有时会先定义一个随机变量，用 $\sim$ 符号来说明它遵循的分布： $\mathrm{x}\sim P(\mathrm{x})$

---

联合概率分布（joint probability distribution）：是同时作用于多个随机变量的概率质量函数，即多个变量的概率分布。
$P(\mathrm{x}=x,\mathrm{y}=y)$ 表示 $\mathrm{x}=x$ 和 $\mathrm{y}=y$ 同事发生的概率，简写为 $P(x,y)$

---

函数 $P$ 是随机变量 $\mathrm{x}$ 的 PMF，需要满足的条件：

• $P$ 的定义域必须是 $\mathrm{x}$ 的所有可能状态的集合
• $\forall x\in \mathrm{x},0\le P(x)\le 1$
• 归一化的（normalized）：${\sum }_{x\in \mathrm{x}}P(x)=1$

连续型变量和概率密度函数

连续型变量的概率分布可以用概率密度函数（probability density function，PDF）来描述。
如果一个函数 $p$ 是概率密度函数，需要满足以下条件：

• $p$ 的定义域必须是 $\mathrm{x}$ 的所有可能状态的集合
• $\forall x\in \mathrm{x},p(x)\ge 0$
• $\int p(x)dx=1$

---

概率密度函数并没有直接对特定的状态给出概率，
相对的，它给出了落在面积为 $\delta x$ 的无限小的区域的概率为 $p(x)\delta x$

可以对概率密度函数求积分来获得点集的真实概率质量。
特别的，$x$ 落在集合 $\mathbb{S}$ 中的概率可以通过 $p(x)$ 对这个集合求积分来得到。
在单变量的例子中，$x$ 落在区间 $[a,b]$ 的概率是 ${\int }_{[a,b]}p(x)dx$

3.4 边缘概率

对离散型随机变量
$$\forall x\in \mathrm{x},P(\mathrm{x}=x)=\sum _{y}P(\mathrm{x}=x,\mathrm{y}=y)$$
对连续型变量
$$p(x)=\int p(x,y)dy$$

3.5 条件概率

条件概率：某事件在给定其他事件发生时出现的概率。
给定 $\mathrm{x}=x,\mathrm{y}=y$ 发生的条件概率记为 $P(\mathrm{y}=y|\mathrm{x}=x)$ ，计算公式如下：
$$P(\mathrm{y}=y|\mathrm{x}=x)=\frac{P(\mathrm{y}=y,\mathrm{x}=x)}{P(\mathrm{x}=x)}(P(\mathrm{x}=x)>0)$$

3.6 条件概率的链式法则

任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式：
$$P({\mathrm{x}}^{(1)},\cdots ,{\mathrm{x}}^{(n)})=P({\mathrm{x}}^{(1)})\prod _{i=2}^{n}P({\mathrm{x}}^{(i)})|{\mathrm{x}}^{(1)},\cdots ,{\mathrm{x}}^{(i-1)})$$

3.7 独立性和条件独立性

两个随机变量 $\mathrm{x}$ 和 $\mathrm{y}$ ，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含 $\mathrm{x}$，另一个因子只包含 $\mathrm{y}$ ，那么就称这两个随机变量是相互独立的（independent）

$$\forall x\in \mathrm{x},y\in \mathrm{y},p(\mathrm{x}=x,\mathrm{y}=y)=p(\mathrm{x}=x)p(\mathrm{y}=y)$$

如果关于 $\mathrm{x}$ 和 $\mathrm{y}$ 的条件概率分布对于 $z$ 的每一个值都可以写成乘积的形式，那么这两个随机变量 $\mathrm{x}$ 和 $\mathrm{y}$ 在给定随机变量 $z$ 时是条件独立的（conditionally independent）：

$$\forall x\in \mathrm{x},y\in \mathrm{y},z\in \mathrm{z},p(\mathrm{x}=x,\mathrm{y}=y|\mathrm{z}=z)=p(\mathrm{x}=x|\mathrm{z}=z)p(\mathrm{y}=y|\mathrm{z}=z)$$

独立性和条件独立性的简化形式表示：
$\mathrm{x}\perp \mathrm{y}$ 表示 $\mathrm{x}$ 和 $\mathrm{y}$ 相互独立
$\mathrm{x}\perp \mathrm{y}|\mathrm{z}$ 表示 $\mathrm{x}$ 和 $\mathrm{y}$ 在给定 $\mathrm{z}$ 时相互独立

3.8 期望、方差和协方差

期望

函数 $f(x)$ 关于某分布 $P(\mathrm{x})$ 的期望（expectation）或者期望值（expected value）指当 $x$ 由 $P$ 产生， $f$ 作用于 $x$ 时，$f(x)$ 的平均值。

• 对于离散型随机变量
  $${\mathbb{E}}_{\mathrm{x}\sim \mathrm{P}[\mathrm{f}(\mathrm{x})]}=\sum _{x}P(x)f(x)$$
• 对于连续型随机变量
  $${\mathbb{E}}_{\mathrm{x}\sim \mathrm{p}[\mathrm{f}(\mathrm{x})]}=\int p(x)f(x)dx$$

当概率分布在上下文中指明时，可以只写出期望作用的随机变量的名称来简化，如 ${\mathbb{E}}_{\mathrm{x}}[f(x)]$
如果期望作用的随机变量明确，可以不写脚标，如 $\mathbb{E}[f(x)]$
默认假设 $\mathbb{E}[\cdot ]$ 表示对方括号内的所有随机变量的值求平均，如果没有歧义时，可以省略方括号

期望是线性的：
$${\mathbb{E}}_{\mathrm{x}}[\alpha f(x)+\beta g(x)]=\alpha {\mathbb{E}}_{\mathrm{x}}[f(x)]+\beta {\mathbb{E}}_{\mathrm{x}}[g(x)]$$
其中 ， $\alpha$ 和 $\beta$ 不依赖于 $x$

方差

方差(variance)衡量的是当对 $x$ 依据它的概率分布进行采样时，随机变量 $\mathrm{x}$ 的函数值会呈现多大的差异：
$$\mathrm{Var}(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)]{)}^2]$$

当方差很小时，$f(x)$ 的值形成的簇比较接近其期望值。
方差的平方根称为标准差（standard deviation）

协方差

协方差（covariance）在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度：
$$\mathrm{Cov}(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$$

协方差的绝对值如果很大，意味着变量值变化很大，并且它们同时距离各自的均值很远
如果协方差为正，则两个变量都倾向于同时取得相对较大的值。
如果协方差为负，则一个变量倾向于取得相对较大的值的同时，另一个变量倾向于取得较小的值。

---

如果两个变量相互独立，它们的协方差为零。
如果两个变量的协方差不为零，它们之间一定是相关的。
如果两个变量的协方差为零，它们之间一定没有线性关系。
两个变量相互独立，它们之间没有线性关系，也没有非线性关系。
两个变量相互依赖，仍然有可能具有零协方差。

---

随机向量 $\mathbf{x}\in {\mathbb{R}}^n$ 的协方差矩阵（covariance matrix）是一个 $n\times n$ 的矩阵，且
$$\mathrm{Cov}(\mathbf{x}{)}_{i,j}=\mathrm{Cov}({\mathrm{x}}_i,{\mathrm{x}}_j)$$

协方差矩阵的对角元是方差：
$$\mathrm{Cov}({\mathrm{x}}_i,{\mathrm{x}}_i)=\mathrm{Var}({\mathrm{x}}_i)$$