数学基础-概率论与随机过程

敲公式太累了！！！！！！

概率论与随机过程

绪论

为什么采用概率论

在机器学习当中，算法必须总是处理不确定量以及随机量，同时硬件中的错误也会经常发生。不确定性的来源有三个：

1. 系统的固有不确定性被建模包含。例如，大多数的量子力学将亚原子的运动描述为不确定性的。
2. 不可完全观测。即使是确定性系统也会表现出随机性，因为我们肯能不能观察到所有的驱动这个系统的变量。在Monty Hall问题中，输出结果已经给定了，但是对于contestant来讲，输出却是不确定的，有点类似于薛定谔的猫。
3. 不完整的建模。例如在机器人中，为了估计机器人的位置从而离散空间，这样就没有办法精确的知道objects的位置。
   在很多情况下，一个简单的不确定的系统比复杂的确定的系统更好用。需要指出的一点是，虽然我们想找到一种描述不确定的方法，但是概率论并没所有我们需要的所有工具。概率论最先是用来研究事物发生的频率的，通常是对于可重复事件，重复多次，就会发生那么多次，例如概率为p，可能会有p次发生。但是对于举出的医生的例子，认为flu的概率是40%，这里就是指的置信度的概念（degree of belief）。前一种被称作为频率论的概率论Frequentist probability，后一种用来衡量不确定性水平的被称作为贝叶斯概率论（Bayesian probability）。

随机变量

A random variable is a variable that can take on different values randomly.

概率分布

• 离散随机变量和概率质量分布函数

• 连续变量和概率密度函数

• 边际概率分布

• 条件概率分布

• 条件概率的链式法则

• 独立事件和条件独立事件

• 期望、方差、协方差

  常见的概率分布

• Bernoulli Distribution 伯努利分布

• Multinoulli Distribution 绝对分布

• Gaussian Distribution 正态分布

• Exponential and Laplace Distributions 指数分布和拉普拉斯分布

• The Dirac Distribution and Empirical Distribution 狄拉克分布和经验分布

• Mixtures of Distributions 混合分布

  一些有用的函数

• logistics sigmoid

• softplus function

  贝叶斯规则

主要是和条件概率相关的一些事情

连续变量的技术细节

并没有仔细看这一章，应该是连续变量和离散变量之间的区别（以后修正）

Information Theory

信息理论是应用数学的一个分支，主要是来围绕着定量的分析a signal中包含了多少信息。最开始是用来研究通过噪声通道发送离散字母的信息发送问题，例如通过无线电的通信。在这个context中，信息论能告诉我们怎么就优化编码，计算预期的消息长度并从特定采样的概率分布使用不同的编码方案，在机器学习当中，可以将信息论应用于连续变量，消息的长度解释（message length interpretations）并未应用于这些变量的情况下
采用这种正式的直觉（intuition）

• 相似的事件拥有较少的信息量，在极端情况下，事件确定发生的情况，应该不包含
• 相似度小的事情应该拥有更高的信息量
• 独立事件应该有附加信息

为了满足这三个性质，所以呢定义了self-information I(X)=-LogP(x)（自信息（英语：self-information），又译为信息本体，由克劳德·香农提出，用来衡量单一事件发生时所包含的信息量多寡）。用nat作为单位，1nat就是观测可能性为1/e的事件所包含的信息量。可以用Shannon entropy（香农熵）来衡量概率分布当中的不确定性大小。当变量是连续变量时，香龙熵就变成了（differencial entropy）微分熵。如果说遇到了两个分布，那么用Kullback-Leibler (KL) divergence来衡量两个分布之间的不同。

Structured Probabilistic Models-结构化的概率模型

机器学习通常涉及非常大量的随机变量的概率分布。通常，这些概率分布会涉及相对较少变量的直接相互作用。采用一个单一的函数来描述整个联合概率分布式非常有效的（不论是计算效率还是统计效率）。当我们用一个graph来表征概率分布的factorization，就可以称之为structured probabilistic model 结构化概率模型 or graphical model 图论模型。结构概率模型分为两种：直接和间接。这两种方法都是用一个图，每个图的节点表示一个变量，连接点之间的边表示这两个随机变量之间的直接相关的概率分布。

基础

1.事件的关系与运算

(1) 子事件：$A\subset B$，若A发生，则B发生。

(2) 相等事件：$A=B$，即A$ \subset B$，且$B \subset A $。

(3) 和事件：$A\bigcup B$（或A + B），A与B中至少有一个发生。

(4) 差事件：$A-B$，A发生但B不发生。

(5) 积事件：$A\bigcap B$（或{AB}），A与B同时发生。

(6) 互斥事件（互不相容）：$A\bigcap B=\varnothing 。$

(7) 互逆事件（对立事件）： $A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}$

2.运算律 (1) 交换律：$A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A$ (2) 结合律：$(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$(3) 分配律：$(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$

3.德$\cdot$ 摩根律
$$\overline{A\bigcup B}=\bar{A}\bigcap \bar{B}\overline{A\bigcap B}=\bar{A}\bigcup \bar{B}$$
4.完全事件组

$A_1{A}_2\cdots A_n$两两互斥，且和事件为必然事件，即KaTeX parse error: Got function '\bigcup' as argument to '\mathop' at position 84: …set{n}{\mathop \̲b̲i̲g̲c̲u̲p̲ ̲}}\,=\Omega

5.概率的基本公式

(1)条件概率:$P(B|A)=\frac{P(AB)}{P(A)}$,表示A发生的条件下，B发生的概率。

(2)全概率公式：$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i),B_i{B}_j=\varnothing ,i̸=j,\underset{i=1}{\bigcup ^n}{B}_i=\Omega$

(3) Bayes公式：
$$P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,\cdots ,n$$
注：上述公式中事件$B_i$的个数可为可列个。

(4)乘法公式：
$$\begin{gathered} P(A_1{A}_2)=P(A_1)P(A_2|A_1)=P(A_2)P(A_1|A_2)P(A_1{A}_2\cdots A_n) \\ =P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1}) \end{gathered}$$
6.事件的独立性

(1)A与B相互独立$\iff P(AB)=P(A)P(B)$

(2)A，B，C两两独立 $\iff P(AB)=P(A)P(B);P(BC)=P(B)P(C);P(AC)=P(A)P(C);$

(3)A，B，C相互独立 $\iff P(AB)=P(A)P(B);P(BC)=P(B)P(C);P(AC)=P(A)P(C);P(ABC)=P(A)P(B)P(C)$

7.独立重复试验

将某试验独立重复n次，若每次实验中事件A发生的概率为p，则n次试验中A发生k次的概率为：$P(X=k)=C_n^k{p}^k{(1-p)}^{n-k}$

8.重要公式与结论

(1)$P(\bar{A})=1-P(A)$

(2)$$\begin{gathered} P(A\bigcup B)=P(A)+P(B)-P(AB)P(A\bigcup B\bigcup C) \\ =P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC) \end{gathered}$$

(3)$P(A-B)=P(A)-P(AB)$

(4)$$\begin{gathered} P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}), \\ P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B) \end{gathered}$$

(5)条件概率$P(\cdot |B)$满足概率的所有性质， 例如：.$$\begin{gathered} P({\bar{A}}_1|B)=1-P(A_1|B)P(A_1\bigcup A_2|B) \\ =P(A_1|B)+P(A_2|B)-P(A_1{A}_2|B)P(A_1{A}_2|B)=P(A_1|B)P(A_2|A_{1}B) \end{gathered}$$

(6)若$A_1,A_2,\cdots ,A_n$相互独立，则KaTeX parse error: Expected '}', got 'EOF' at end of input: …-P({{A}_{i}}))}

(7)互斥、互逆与独立性之间的关系：$A与B互逆\Rightarrow A与B互斥$，但反之不成立，$A与B互斥（或互逆）且均非零概率事件\Rightarrow A与B不独立.$

(8)若$A_1,A_2,\cdots ,A_m,B_1,B_2,\cdots ,B_n$相互独立，则$f(A_1,A_2,\cdots ,A_m)与g(B_1,B_2,\cdots ,B_n)$也相互独立，其中$f(\cdot ),g(\cdot )$分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义： $F(x)=P(X\le x),-\infty <x<+\infty$

性质：

(1)$0\le F(x)\le 1$

(2) F(x)单调不减

(3) 右连续$F(x+0)=F(x)$

(4)$F(-\infty )=0,F(+\infty )=1$

3.离散型随机变量的概率分布
$$P(X=x_i)=p_i,i=1,2,\cdots ,n,\cdots p_i\ge 0,\sum _{i=1}^{\infty }{p}_i=1$$
4.连续型随机变量的概率密度

概率密度f(x);非负可积，且:

(1)$f(x)\ge 0,$

(2)${\int }_{-\infty }^{+\infty }f(x)dx=1$

(3)x为f(x)的连续点，则:

$f(x)=F^{\prime }(x)$分布函数$F(x)={\int }_{-\infty }^{x}f(t)dt$

5.常见分布

(1) 0-1分布:$P(X=k)=p^k{(1-p)}^{1-k},k=0,1$

(2) 二项分布:$B(n,p)：P(X=k)=C_n^k{p}^k{(1-p)}^{n-k},k=0,1,\cdots ,n$

(3) Poisson分布:$p(\lambda )：P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,2\cdots$

(4) 均匀分布 U ( a , b ) ： f ( x ) = { 1 b − a , a &lt; x &lt; b 0 , U(a,b)：f(x) = \{ \begin{matrix} &amp; \frac{1}{b - a},a &lt; x&lt; b \\ &amp; 0, \\ \end{matrix} U(a,b)：f(x)={​b−a1​,a<x<b0,​

(5) 正态分布$:N(\mu ,{\sigma }^2):\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}},\sigma >0,\infty <x<+\infty$

(6)指数分布: E ( λ ) : f ( x ) = { λ e − λ x , x &gt; 0 , λ &gt; 0 0 , E(\lambda):f(x) =\{ \begin{matrix} &amp; \lambda e^{-{λx}},x &gt; 0,\lambda &gt; 0 \\ &amp; 0, \\ \end{matrix} E(λ):f(x)={​λe−λx,x>0,λ>00,​

(7)几何分布:$G(p):P(X=k)={(1-p)}^{k-1}p,0<p<1,k=1,2,\cdots .$

(8)超几何分布:$H(N,M,n):P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},k=0,1,\cdots ,min(n,M)$

6.随机变量函数的概率分布

(1)离散型：$P(X=x_1)=p_i,Y=g(X)$

则:$P(Y=y_j)={\sum }_{g(x_i)=y_i}^{}P(X=x_i)$

(2)连续型：$X\stackrel{~}{}{f}_X(x),Y=g(x)$

则:$F_y(y)=P(Y\le y)=P(g(X)\le y)={\int }_{g(x)\le y}^{}{f}_x(x)dx，f_Y(y)=F_Y^{\prime }(y)$

7.重要公式与结论

(1) $X\sim N(0,1)\Rightarrow \phi (0)=\frac{1}{\sqrt{2\pi }},\Phi (0)=\frac{1}{2},\Phi (-a)=P(X\le -a)=1-\Phi (a)$

(2)$X\sim N\left(\mu ,{\sigma }^2\right)\Rightarrow \frac{X-\mu }{\sigma }\sim N\left(0,1\right),P(X\le a)=\Phi (\frac{a-\mu }{\sigma })$

(3) $X\sim E(\lambda )\Rightarrow P(X>s+t|X>s)=P(X>t)$

(4) $X\sim G(p)\Rightarrow P(X=m+k|X>m)=P(X=k)$

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

一、概率与分布

1.1 条件概率与独立事件

1. 条件概率：已知 A 事件发生的条件下 B 发生的概率，记作 $P(B\mid A)$，它等于事件 AB 的概率相对于事件 A 的概率，即： $P(B\mid A)=\frac{P(AB)}{P(A)}$。其中必须有 $P(A)>0$。

2. 条件概率分布的链式法则：对于 n 个随机变量 $X_1,X_2,\cdots ,X_n$，有：
   $$P(X_1,X_2,\cdots ,X_n)=P(X_1)\prod _{i=2}^{n}P(X_i\mid X_1,\cdots ,X_{i-1})$$

3. 两个随机变量 $X,Y$相互独立的数学描述： $P(X,Y)=P(X)P(Y)$。记作： $X\perp Y$。

4. 两个随机变量 $X,Y$关于随机变量 $Z$条件独立的数学描述： $P(X,Y\mid Z)=P(X\mid Z)P(Y\mid Z)$。

   记作： $X\perp Y\mid Z$

1.2 联合概率分布

1. 定义X 和 Y 的联合分布为： P ( a , b ) = P { X ≤ a , Y ≤ b } , − ∞ &lt; a , b &lt; + ∞ 。 P(a,b)=P\{X \le a, Y \le b\}, \quad - \infty \lt a,b \lt + \infty 。 P(a,b)=P{X≤a,Y≤b},−∞<a,b<+∞。

   • X 的分布可以从联合分布中得到：
     P X ( a ) = P { X ≤ a } = P { X ≤ a , Y ≤ ∞ } = P ( a , ∞ ) , − ∞ &lt; a &lt; + ∞ P_X(a)=P\{X \le a\}=P\{X \le a, Y \le \infty\}=P(a,\infty),\quad - \infty \lt a \lt + \infty PX​(a)=P{X≤a}=P{X≤a,Y≤∞}=P(a,∞),−∞<a<+∞

   • Y 的分布可以从联合分布中得到：
     P Y ( b ) = P { Y ≤ b } = P { X ≤ ∞ , Y ≤ b } = P ( ∞ , b ) , − ∞ &lt; b &lt; + ∞ P_Y(b)=P\{Y \le b\}=P\{X \le \infty, Y \le b\}=P(\infty,b), \quad - \infty \lt b \lt + \infty PY​(b)=P{Y≤b}=P{X≤∞,Y≤b}=P(∞,b),−∞<b<+∞

2. 当 X 和 Y 都是离散随机变量时， 定义 X 和 Y 的联合概率质量函数为： p ( x , y ) = P { X = x , Y = y } p(x,y)=P\{X=x,Y=y\} p(x,y)=P{X=x,Y=y}

   则 X 和 Y 的概率质量函数分布为：

   $p_X(x)={\sum }_{y}p(x,y)p_Y(y)={\sum }_{x}p(x,y)$

3. 当 X 和 Y 联合地连续时，即存在函数 $p(x,y)$，使得对于所有的实数集合 $\mathbb{A}$和 $\mathbb{B}$满足：

   P { X ∈ A , Y ∈ B } = ∫ B ∫ A p ( x , y ) d x d y P\{X \in \mathbb A, Y \in \mathbb B\}=\int_\mathbb B \int_\mathbb A p(x,y) dx dy P{X∈A,Y∈B}=∫B​∫A​p(x,y)dxdy

   则函数 p(x,y) 称为 X 和 Y 的概率密度函数。

   • 联合分布为： P ( a , b ) = P { X ≤ a , Y ≤ b } = ∫ − ∞ a ∫ − ∞ b p ( x , y ) d x d y 。 P(a,b)=P\{X \le a, Y \le b\}= \int_{-\infty}^{a} \int_{-\infty}^{b} p(x,y) dx dy 。 P(a,b)=P{X≤a,Y≤b}=∫−∞a​∫−∞b​p(x,y)dxdy。

   • X 和 Y 的分布函数以及概率密度函数分别为：
     $$\begin{gathered} P_X(a)={\int }_{-\infty }^a{\int }_{-\infty }^{\infty }p(x,y)dxdy={\int }_{-\infty }^a{p}_X(x)dx \\ {P}_Y(b)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{b}p(x,y)dxdy={\int }_{-\infty }^b{p}_Y(y)dy \\ {p}_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy \\ {p}_Y(y)={\int }_{-\infty }^{\infty }p(x,y)dx \end{gathered}$$
     .

二、期望和方差

2.1 期望

1. 期望描述了随机变量的平均情况，衡量了随机变量 X 的均值。它是概率分布的泛函（函数的函数）。

   • 离散型随机变量 X 的期望： $\mathbb{E}[X]={\sum }_{i=1}^{\infty }{x}_i{p}_i。$

     若右侧级数不收敛，则期望不存在。

   • 连续性随机变量 X 的期望： $\mathbb{E}[X]={\int }_{-\infty }^{\infty }xp(x)dx$

     若右侧极限不收敛，则期望不存在。

2. 定理：对于随机变量 X ，设 $Y=g(X)$也为随机变量， $g(\cdot )$是连续函数。

   • 若 X 为离散型随机变量，若 Y 的期望存在，则： $\mathbb{E}[Y]=\mathbb{E}[g(X)]={\sum }_{i=1}^{\infty }g(x_i)p_i。$

     也记做： ${\mathbb{E}}_{X\sim P(X)}[g(X)]={\sum }_{x}g(x)p(x)。$

   • 若 X 为连续型随机变量，若 Y 的期望存在，则 ： $\mathbb{E}[Y]=\mathbb{E}[g(X)]={\int }_{-\infty }^{\infty }g(x)p(x)dx$

     也记做： ${\mathbb{E}}_{X\sim P(X)}[g(X)]=\int g(x)p(x)dx。$

该定理的意义在于：当求 $\mathbb{E}(Y)$时，不必计算出 $Y$的分布，只需要利用 X 的分布即可。

该定理可以推广至两个或两个以上随机变量的情况。对于随机变量 $X,Y$，假设 $Z=g(X,Y)$也是随机变量， $ g(\cdot)$为连续函数，则有： $\mathbb E[Z]=\mathbb E[g(X,Y)]=\int_{-\infty}^{{\infty}\int_{-\infty}}{\infty}g(x,y)p(x,y)dxdy $。也记做： ${\mathbb{E}}_{X,Y\sim P(X,Y)}[g(X,Y)\int g(x,y)p(x,y)dxdy。$

3. 期望性质：

   • 常数的期望就是常数本身。

   • 对常数 C 有 ： $\mathbb{E}[CX]=C\mathbb{E}[X]。$

   • 对两个随机变量 X,Y，有： $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]。$

     该结论可以推广到任意有限个随机变量之和的情况。

   • 对两个相互独立的随机变量，有： $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]。$

     该结论可以推广到任意有限个相互独立的随机变量之积的情况。

2.2 方差

1. 对随机变量 $ X$，若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^2]$存在，则称它为 $X$的方差，记作 $Var[X]。$

   $X$的标准差为方差的开平方。即：

   $$\begin{gathered} Var[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2] \\ \sigma =\sqrt{Var[X]} \end{gathered}$$

   • 方差度量了随机变量 X 与期望值偏离的程度，衡量了 X 取值分散程度的一个尺度。

   • 由于绝对值 $|X-\mathbb{E}[X]|$带有绝对值，不方便运算，因此采用平方来计算。

     又因为 $|X-\mathbb{E}[X]{|}^2$是一个随机变量，因此对它取期望，即得 X 与期望值偏离的均值。

2. 根据定义可知：
   $$\begin{gathered} Var[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2 \\ Var[f(X)]=\mathbb{E}[(f(X)-\mathbb{E}[f(X)]{)}^2] \end{gathered}$$

3. 对于一个期望为 $\mu$， 方差为 ${\sigma }^2,\sigma ̸=0$的随机变量 $X$，随机变量 $X^{\ast }=\frac{X-\mu }{\sigma }$的数学期望为0，方差为1。 称 $X^{\ast }$为 $X$的标准化变量。

4. 方差的性质：

   • 常数的方差恒为 0 。

   • 对常数 C ，有 $Var[CX]=C^{2}Var[X]。$

   • 对两个随机变量 X,Y，有： $Var[X+Y]=Var[X]+Var[Y]+2\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$

     当 X 和 Y 相互独立时，有 $Var[X+Y]=Var[X]+Var[Y]$。这可以推广至任意有限多个相互独立的随机变量之和的情况。

   • $Var[X]=0$的充要条件是 X 以概率1取常数。

2.3 协方差与相关系数

1. 对于二维随机变量 $(X,Y)$，可以讨论描述 $X$与 $Y$之间相互关系的数字特征。

   • 定义 $\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$为随机变量 X 与 Y 的协方差，记作 $Cov[X,Y]=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]。$
   • 定义 ${\rho }_{XY}=\frac{Cov[X,Y]}{\sqrt{Var[X]}\sqrt{Var[Y]}}为$随机变量 X 与Y的相关系数，它是协方差的归一化。

2. 由定义可知：

   $$\begin{gathered} Cov[X,Y]=Cov[Y,X] \\ Cov[X,X]=Var[X] \\ Var[X+Y]=Var[X]+Var[Y]+2Cov[X,Y] \end{gathered}$$

3. 协方差的性质：

   • $Cov[aX,bY]=abCov[X,Y]，a,b$为常数。
   • $Cov[X_1+X_2,Y]=Cov[X_1,Y]+Cov[X_2,Y]$
   • $Cov[f(X),g(Y)]=\mathbb{E}[(f(X)-\mathbb{E}[f(X)])(g(Y)-\mathbb{E}[g(Y)])]$
   • $\rho [f(X),g(Y)]=\frac{Cov[f(X),g(Y)]}{\sqrt{Var[f(X)]}\sqrt{Var[g(Y)]}}$

4. 协方差的物理意义：

   • 协方差的绝对值越大，说明两个随机变量都远离它们的均值。

   • 协方差如果为正，则说明两个随机变量同时趋向于取较大的值或者同时趋向于取较小的值；如果为负，则说明一个随变量趋向于取较大的值，另一个随机变量趋向于取较小的值。

   • 两个随机变量的独立性可以导出协方差为零。但是两个随机变量的协方差为零无法导出独立性。

     因为独立性也包括：没有非线性关系。有可能两个随机变量是非独立的，但是协方差为零。如：假设随机变量 $X\sim U[-1,1$] 。定义随机变量 S 的概率分布函数为：

     $P(S=1)=\frac{1}{2}P(S=-1)=\frac{1}{2}$

     定义随机变量 Y=SX，则随机变量 X,Y 是非独立的，但是有： $Cov[X,Y]=0$。

5. 相关系数的物理意义：考虑以随机变量 X 的线性函数 $a+bX$来近似表示 $Y$。以均方误差
   $$e=\mathbb{E}[(Y-(a+bX){)}^2]=\mathbb{E}[Y^2]+b^2\mathbb{E}[X^2]+a^2-2b\mathbb{E}[XY]+2ab\mathbb{E}[X]-2a\mathbb{E}[Y]$$
   来衡量以 $a+bX$近似表达 Y 的好坏程度。 $e$越小表示近似程度越高。

   为求得最好的近似，则对 $a,b$分别取偏导数，得到：
   $$\begin{gathered} a_0=\mathbb{E}[Y]-b_0\mathbb{E}[X]=\mathbb{E}[Y]-\mathbb{E}[X]\frac{Cov[X,Y]}{Var[X]} \\ {b}_0=\frac{Cov[X,Y]}{Var[X]} \\ \min (e)=\mathbb{E}[(Y-(a_0+b_{0}X){)}^2]=(1-{\rho }_{XY}^2)Var[Y] \end{gathered}$$
   因此有以下定理：

   • $|{\rho }_{XY}|\le 1（|\cdot |$是绝对值）。
   • $|{\rho }_{XY}|=1$的充要条件是：存在常数 a,b 使得 $ P{Y=a+bX}=1。$

6. 当 $|\rho_{XY}| $较大时， $e$较小，意味着随机变量 X 和 Y 联系较紧密。于是 ${\rho }_{XY}$是一个表征 $ X、Y$之间线性关系紧密程度的量。

7. 当 ${\rho }_{XY}=0$时，称 $X$和 $Y$不相关。

   • 不相关是就线性关系来讲的，而相互独立是一般关系而言的。
   • 相互独立一定不相关；不相关则未必独立。

2.4 协方差矩阵

1. 设 X 和 Y 是随机变量。

   • 若 $\mathbb{E}[X^k],k=1,2,\cdots$存在，则称它为 X 的 $k$阶原点矩，简称 $k$阶矩。
   • 若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^k],k=2,3,\cdots$存在，则称它为 $ X $的 $ k$阶中心矩。
   • 若 $\mathbb{E}[X^k{Y}^l],k,l=1,2,\cdots$存在，则称它为 $X$和 $Y$的 $k+l$阶混合矩。
   • 若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^k(Y-\mathbb{E}[Y]{)}^l],k,l=1,2,\cdots$存在，则称它为 $X $和 $Y $的 $k+l $阶混合中心矩。

   因此：期望是一阶原点矩，方差是二阶中心矩，协方差是二阶混合中心矩。

2. 协方差矩阵：

   • 二维随机变量 $(X_1,X_2)$有四个二阶中心矩（假设他们都存在），记作：
     $$\begin{gathered} c_{11}=\mathbb{E}[(X_1-\mathbb{E}[X_1]{)}^2] \\ {c}_{12}=\mathbb{E}[(X_1-\mathbb{E}[X_1])(X_2-\mathbb{E}[X_2])] \\ {c}_{21}=\mathbb{E}[(X_2-\mathbb{E}[X_2])(X_1-\mathbb{E}[X_1])] \\ {c}_{22}=\mathbb{E}[(X_2-\mathbb{E}[X_2]{)}^2] \end{gathered}$$
     称矩阵
     $$\mathbf{C}=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right]$$
     为随机变量 $(X_1,X_2)$的协方差矩阵。

   • 设 $n$维随机变量 $(X_1,X_2,\cdots ,X_n)$的二阶混合中心矩 $c_{ij}=Cov[X_i,X_j]=\mathbb{E}[(X_i-\mathbb{E}[X_i])(X_j-\mathbb{E}[X_j])]$都存在，则称矩阵
     $$\mathbf{C}=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]$$
     为 $ n $维随机变量 $(X_1,X_2,\cdots ,X_n)$的协方差矩阵。

     由于 $c_{ij}=c_{ji},i̸=j,i,j=1,2,\cdots ,n$因此协方差矩阵是个对称阵。

3. 通常 $n$维随机变量的分布是不知道的，或者太复杂以致数学上不容易处理。因此实际中协方差矩阵非常重要。

三、大数定律及中心极限定理

3.1 切比雪夫不等式

1. 切比雪夫不等式：假设随机变量 X 具有期望 $\mathbb{E}[X]=\mu ，$方差 $Var(X)={\sigma }^2$，则对于任意正数 $\epsilon$，下面的不等式成立：
   P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu| \ge \varepsilon\} \le \frac {\sigma^{2}}{\varepsilon^{2}} P{∣X−μ∣≥ε}≤ε2σ2​

   • 其意义是：对于距离 $\mathbb{E}[X]$足够远的地方 （距离大于等于 $\epsilon$），事件出现的概率是小于等于 $\frac{{\sigma }^2}{{\epsilon }^2}。$即事件出现在区间 $[\mu-\varepsilon , \mu+\varepsilon] $的概率大于 $1-\frac{{\sigma }^2}{{\epsilon }^2}。$

     该不等式给出了随机变量 $X$在分布未知的情况下， 事件 { ∣ X − μ ∣ ≤ ε } \{|X-\mu| \le \varepsilon\} {∣X−μ∣≤ε}的下限估计。如： P { ∣ X − μ ∣ &lt; 3 σ } ≥ 0.8889 。 P\{|X-\mu| \lt 3\sigma\} \ge 0.8889 。 P{∣X−μ∣<3σ}≥0.8889。

   • 证明：
     P { ∣ X − μ ∣ ≥ ε } = ∫ ∣ x − μ ∣ ≥ ε p ( x ) d x ≤ ∫ ∣ x − μ ∣ ≥ ε ∣ x − μ ∣ 2 ε 2 p ( x ) d x ≤ 1 ε 2 ∫ − ∞ ∞ ( x − μ ) 2 p ( x ) d x = σ 2 ε 2 P\{|X-\mu| \ge \varepsilon\}=\int_{|x-\mu| \ge \varepsilon}p(x)dx \le \int_{|x-\mu| \ge \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}}p(x)dx \\ \le \frac {1}{\varepsilon^{2}}\int_{-\infty}^{\infty}(x-\mu)^{2}p(x)dx=\frac{\sigma^{2}}{\varepsilon^{2}} P{∣X−μ∣≥ε}=∫∣x−μ∣≥ε​p(x)dx≤∫∣x−μ∣≥ε​ε2∣x−μ∣2​p(x)dx≤ε21​∫−∞∞​(x−μ)2p(x)dx=ε2σ2​

2. 切比雪夫不等式的特殊情况：设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$相互独立，且具有相同的数学期望和方差： $\mathbb{E}[X_k]=\mu ,Var[X_k]={\sigma }^2。$作前 n 个随机变量的算术平均： $\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k，$则对于任意正数 $\epsilon$有：
   lim ⁡ n → ∞ P { ∣ X ‾ − μ ∣ &lt; ε } = lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ &lt; ε } = 1 \lim_{n\rightarrow \infty}P\{|\overline X-\mu| \lt \varepsilon\}=\lim_{n\rightarrow \infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| \lt \varepsilon\} =1 n→∞lim​P{∣X−μ∣<ε}=n→∞lim​P{∣n1​k=1∑n​Xk​−μ∣<ε}=1
   证明：根据期望和方差的性质有 $：\mathbb{E}[\overline{X}]=\mu ，Var[\overline{X}]=\frac{{\sigma }^2}{n}$。根据切比雪夫不等式有：
   P { ∣ X ‾ − μ ∣ ≥ ε } ≤ σ 2 n ε 2 P\{|\overline X-\mu| \ge \varepsilon\} \le \frac{\sigma^2}{n\varepsilon^2} P{∣X−μ∣≥ε}≤nε2σ2​
   则有 lim ⁡ n → ∞ P { ∣ X ‾ − μ ∣ ≥ ε } = 0 \lim_{n\rightarrow \infty}P\{|\overline X-\mu| \ge \varepsilon\} = 0 limn→∞​P{∣X−μ∣≥ε}=0，因此有： lim ⁡ n → ∞ P { ∣ X ‾ − μ ∣ &lt; ε } = 1 。 \lim_{n\rightarrow \infty}P\{|\overline X-\mu| \lt \varepsilon\} =1 。 limn→∞​P{∣X−μ∣<ε}=1。

3.2 大数定理

1. 依概率收敛：设 $Y_1,Y_2,\cdots ,Y_n,\cdots$是一个随机变量序列， $ a $是一个常数。

   若对于任意正数 $\epsilon$有 ： lim ⁡ n → ∞ P { ∣ Y n − a ∣ ≤ ε } = 1 \lim_{n\rightarrow \infty}P\{|Y_{n}-a| \le \varepsilon \}=1 limn→∞​P{∣Yn​−a∣≤ε}=1，则称序列 $Y_1,Y_2,\cdots ,Y_n,\cdots$依概率收敛于 $ a $。记作： $Y_n\stackrel{P}{\to }a$

2. 依概率收敛的两个含义：

   • 收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
   • 依概率：表明序列无穷远处的随机变量 $Y_{\infty} $的分布规律为：绝大部分分布于点 $a $，极少数位于 $a$之外。且分布于 $a$之外的事件发生的概率之和为0。

3. 大数定理一： 设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$相互独立，且具有相同的数学期望和方差： $\mathbb{E}[X_k]=\mu ,Var[X_k]={\sigma }^2。$则序列： $\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$依概率收敛于 $\mu $， 即 $\overline{X}\stackrel{P}{\to }\mu 。$

   注意：这里并没有要求随机变量 $X_1,X_2,\cdots ,X_n,\cdots$同分布。

4. 伯努利大数定理： 设 $n_A$为 $n$次独立重复实验中事件 A 发生的次数， $p $是事件 A 在每次试验中发生的概率。则对于任意正数 $\epsilon$有：
   lim ⁡ n → ∞ P { ∣ n A n − p ∣ &lt; ε } = 1 o r : lim ⁡ n → ∞ P { ∣ n A n − p ∣ ≥ ε } = 0 \lim_{n \rightarrow \infty}P\{|\frac{n_{A}}{n}-p| \lt \varepsilon\}=1 \\ or: \quad \lim_{n \rightarrow \infty}P\{|\frac{n_{A}}{n}-p| \ge \varepsilon\}=0 n→∞lim​P{∣nnA​​−p∣<ε}=1or:n→∞lim​P{∣nnA​​−p∣≥ε}=0
   即：当独立重复实验执行非常大的次数时，事件 A 发生的频率逼近于它的概率。

5. 辛钦定理：设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$相互独立，服从同一分布，且具有相同的数学期望： $\mathbb{E}[X_k]=\mu 。$则对于任意正数 $\epsilon$有：

   lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ &lt; ε } = 1 \lim_{n\rightarrow \infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| \lt \varepsilon\} =1 limn→∞​P{∣n1​∑k=1n​Xk​−μ∣<ε}=1

   • 注意：这里并没有要求随机变量 $X_1,X_2,\cdots ,X_n,\cdots$的方差存在。
   • 伯努利大数定理是亲钦定理的特殊情况。

3.3 中心极限定理

1. 独立同分布的中心极限定理：设随机变量$X_1,X_2,\cdots ,X_n$独立同分布，且具有数学期望和方差：$\mathbb{E}[X_k]=\mu ,Var[X_k]={\sigma }^2$， 则随机变量之和 $\overline{S{X}_n}={\sum }_{k=1}^n{X}_k$的标准变化量：
   $$Y_n=\frac{\overline{S{X}_n}-\mathbb{E}[\overline{S{X}_n}]}{\sqrt{Var[\overline{S{X}_n}]}}=\frac{\overline{S{X}_n}-n\mu }{\sqrt{n}\sigma }$$
   的概率分布函数 $F_n(x)$对于任意 $ x $满足：
   lim ⁡ n → ∞ F n ( x ) = lim ⁡ n → ∞ P { Y n ≤ x } = lim ⁡ n → ∞ P { ∑ k = 1 n X k − n μ n σ ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t = Φ ( x ) \lim_{n\rightarrow \infty}F_n(x)=\lim_{n\rightarrow \infty}P\{Y_n \le x\}=\lim_{n\rightarrow \infty}P\{\frac{\sum_{k=1}^{n} X_k-n\mu}{\sqrt n \sigma} \le x\}\\ = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}/2}dt=\Phi(x) n→∞lim​Fn​(x)=n→∞lim​P{Yn​≤x}=n→∞lim​P{n ​σ∑k=1n​Xk​−nμ​≤x}=∫−∞x​2π ​1​e−t2/2dt=Φ(x)

   • 其物理意义为：均值方差为 $\mu ,{\sigma }^2$ 的独立同分布的随机变量$X_1,X_2,\cdots ,X_n$之和$\overline{S{X}_n}={\sum }_{k=1}^n{X}_k$的标准变化量$Y_n$ ，当 $n$充分大时，其分布近似于标准正态分布。

     即：$\overline{S{X}_n}={\sum }_{k=1}^n{X}_k$在 n 充分大时，其分布近似于$N(n\mu ,n{\sigma }^2)。$

   • 一般情况下，很难求出$n$个随机变量之和的分布函数。因此当$n$充分大时，可以通过正态分布来做理论上的分析或者计算。

2. Liapunov 定理：设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$相互独立，具有数学期望和方差：$\mathbb{E}[X_k]={\mu }_k,Var[X_k]={\sigma }_k^2$。记：$B_n^2={\sum }_{k=1}^n{\sigma }_k^2$。 若存在正数 $\delta$ ，使得当$n\to \infty$时，$\frac{1}{B_n^{2+\delta }}{\sum }_{k=1}^n\mathbb{E}[|X_k-{\mu }_k{|}^{2+\delta }]\to 0$。则随机变量之和$\overline{S{X}_n}={\sum }_{k=1}^n{X}_k$ 的标准变化量:
   $$Z_n=\frac{\overline{S{X}_n}-\mathbb{E}[\overline{S{X}_n}]}{\sqrt{Var[\overline{S{X}_n}]}}=\frac{\overline{S{X}_n}-{\sum }_{k=1}^n{\mu }_k}{B_n}$$
   的概率分布函数 $ F_n(x) $对于任意 x 满足：
   lim ⁡ n → ∞ F n ( x ) = lim ⁡ n → ∞ P { Z n ≤ x } = lim ⁡ n → ∞ P { ∑ k = 1 n X k − ∑ k = 1 n μ k B n ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t = Φ ( x ) \lim_{n\rightarrow \infty}F_n(x)=\lim_{n\rightarrow \infty}P\{Z_n \le x\}=\lim_{n\rightarrow \infty}P\{\frac{\sum_{k=1}^{n} X_k-\sum_{k=1}^{n}\mu_k}{B_n} \le x\}\\ = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}/ 2}dt=\Phi(x) n→∞lim​Fn​(x)=n→∞lim​P{Zn​≤x}=n→∞lim​P{Bn​∑k=1n​Xk​−∑k=1n​μk​​≤x}=∫−∞x​2π ​1​e−t2/2dt=Φ(x)

   • 其物理意义为：相互独立的随机变量$X_1,X_2,\cdots ,X_n,\cdots$之和$\overline{S{X}_n}={\sum }_{k=1}^n{X}_k$ 的衍生随机变量序列$Z_n=\frac{\overline{S{X}_n}-{\sum }_{k=1}^n{\mu }_k}{B_n}$，当 $ n $充分大时，其分布近似与标准正态分布。
   • 这里并不要求$X_1,X_2,\cdots ,X_n,\cdots$同分布。

3. Demoiver-Laplace定理：设随机变量序列 $\eta_n,n=1,2,… $服从参数为$ (n, p)$ 的二项分布，其中 $0 \lt p \lt 1 $。则对于任意$ x$ , 有：
   lim ⁡ n → ∞ P { η n − n p n p ( 1 − p ) ≤ x } = ∫ − ∞ x 1 2 π e − t 2 ∣ 2 d t = Φ ( x ) \lim_{n\rightarrow \infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}} \le x\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}\mid 2}dt=\Phi(x) n→∞lim​P{np(1−p) ​ηn​−np​≤x}=∫−∞x​2π ​1​e−t2∣2dt=Φ(x)
   该定理表明，正态分布是二项分布的极限分布。当 n 充分大时，可以利用正态分布来计算二项分布的概率。

五、常见概率分布

5.1 均匀分布

1. 离散随机变量的均匀分布：假设$ X $有$ k $个取值： $x_1,x_2,\cdots ,x_k$ ，则均匀分布的概率密度函数(probability mass function:PMF)为：

   $p(X=x_i)=\frac{1}{k},i=1,2,\cdots ,k$

2. 连续随机变量的均匀分布： 假设 X 在 [a,b]上均匀分布，则其概率密度函数(probability density function：PDF)为：
   $$p(X=x)=\{\begin{array}{ll}0,& x\notin [a,b]\\ \frac{1}{b-a},& x\in [a,b]\end{array}$$
   .

5.2 伯努利分布

1. 伯努利分布：参数为$\varphi \in [0,1]$。随机变量 X ∈ { 0 , 1 } X \in \{0,1\} X∈{0,1} 。

   • 概率分布函数为： p ( X = x ) = ϕ x ( 1 − ϕ ) 1 − x &ThickSpace; , x ∈ { 0 , 1 } p(X=x)=\phi^{x}(1-\phi)^{1-x}\;,x \in \{0,1\} p(X=x)=ϕx(1−ϕ)1−x,x∈{0,1}。
   • 期望：$\mathbb{E}[X]=\varphi$ 。方差：$ Var[X]=\phi(1-\phi) $

2. categorical 分布：它是二项分布的推广，也称作multinoulli分布。假设随机变量 X ∈ { 1 , 2 , ⋯ &ThinSpace; , K } ， X \in \{1,2,\cdots,K\}， X∈{1,2,⋯,K}，其概率分布函数为：
   $$\begin{gathered} p(X=1)={\theta }_1 \\ p(X=2)={\theta }_2 \\ ⋮ \\ p(X=K-1)={\theta }_{K-1} \\ p(X=K)=1-\sum _{i=1}^{K-1}{\theta }_i \end{gathered}$$
   其中${\theta }_i$为参数，它满足 ${\theta }_i\in [0,1]$，且${\sum }_{i=1}^{K-1}{\theta }_i\in [0,1]。$

5.3 二项分布

1. 假设试验只有两种结果：成功的概率为$\varphi$ ，失败的概率为$1-\varphi$ 。 则二项分布描述了：独立重复地进行 n 次试验中，成功$ x $次的概率。

   • 概率质量函数：

     p ( X = x ) = n ! x ! ( n − x ) ! ϕ x ( 1 − ϕ ) n − x , x ∈ { 0 , 1 , ⋯ &ThinSpace; , n } p(X=x)=\frac{n!}{x!(n-x)!}\phi^{x}(1-\phi)^{n-x},x\in \{0,1,\cdots,n\} p(X=x)=x!(n−x)!n!​ϕx(1−ϕ)n−x,x∈{0,1,⋯,n}

   • 期望：$\mathbb{E}[X]=n\varphi$ 。 方差：$Var[X]=n\varphi (1-\varphi )。$

5.4 高斯分布

1. 正态分布是很多应用中的合理选择。如果某个随机变量取值范围是实数，且对它的概率分布一无所知，通常会假设它服从正态分布。有两个原因支持这一选择：
   • 建模的任务的真实分布通常都确实接近正态分布。中心极限定理表明，多个独立随机变量的和近似正态分布。
   • 在具有相同方差的所有可能的概率分布中，正态分布的熵最大（即不确定性最大）。

5.4.1 一维正态分布

1. 正态分布的概率密度函数为 :

   $p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/(2{\sigma }^2)},-\infty <x<\infty$

   其中$\mu ,\sigma (\sigma >0)$为常数。

   • 若随机变量 X 的概率密度函数如上所述，则称 X 服从参数为$\mu ,\sigma$ 的正态分布或者高斯分布，记作$X\sim N(\mu ,{\sigma }^2)$
   • 特别的，当$\mu =0,\sigma =1$ 时，称为标准正态分布，其概率密度函数记作$\phi (x)$，分布函数记作$\Phi (x)$ 。
   • 为了计算方便，有时也记作：$\mathcal{N}(x;\mu ,{\beta }^{-1})=\sqrt{\frac{\beta }{2\pi }}\exp \left(-\frac{1}{2}\beta (x-\mu {)}^2\right)$，其中 $\beta \in (0,\infty )$。

2. 正态分布的概率密度函数性质：

   • 曲线关于$x=\mu$对称。
   • 曲线在$x=\mu$ 时取最大值。
   • 曲线在 $x=\mu \pm \sigma$ 处有拐点。
   • 参数 $\mu$决定曲线的位置；$\sigma$决定图形的胖瘦。

   

3. 若 $X\sim N(\mu ,{\sigma }^2)$则：

   • $\frac{X-\mu }{\sigma }\sim N(0,1)$
   • 期望：$\mathbb{E}[X]=\mu$。方差：$Var[X]={\sigma }^2$ 。

4. 有限个相互独立的正态随机变量的线性组合仍然服从正态分布：若随机变量$X_i\sim N({\mu }_i,{\sigma }_i^2),i=1,2,\cdots ,n$ 且它们相互独立，则它们的线性组合：$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n$仍然服从正态分布（其中$C_1,C_2,\cdots ,C_n$不全是为 0 的常数），且：$C_1{X}_1+C_2{X}_2+\cdots +C_n{X}_n\sim N({\sum }_{i=1}^n{C}_i{\mu }_i,{\sum }_{i=1}^n{C}_i^2{\sigma }_i^2)$

5.4.2 多维正态分布

1. 二维正态随机变量 (X,Y) 的概率密度为：
   p ( x , y ) = 1 2 π σ 1 σ 2 1 − ρ 2 exp ⁡ { − 1 2 ( 1 − ρ 2 ) [ ( x − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( y − μ 2 ) σ 1 σ 2 + ( y − μ 2 ) 2 σ 2 2 ] } p(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^{2}}}\exp\{\frac{-1}{2(1-\rho^{2})}[\frac{(x-\mu_1)^{2}}{\sigma_1^{2}}\\ -2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^{2}}{\sigma_2^{2}}]\} p(x,y)=2πσ1​σ2​1−ρ2 ​1​exp{2(1−ρ2)−1​[σ12​(x−μ1​)2​−2ρσ1​σ2​(x−μ1​)(y−μ2​)​+σ22​(y−μ2​)2​]}
   根据定义，可以计算出:
   $$\begin{gathered} p_X(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-(x-{\mu }_1{)}^2/(2{\sigma }_1^2)},-\infty <x<\infty \\ {p}_Y(y)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-(y-{\mu }_2{)}^2/(2{\sigma }_2^2)},-\infty <y<\infty \\ \mathbb{E}[X]={\mu }_1 \\ \mathbb{E}[Y]={\mu }_2 \\ Var[X]={\sigma }_1^2 \\ Var[Y]={\sigma }_2^2 \\ Cov[X,Y]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(x-{\mu }_1)(y-{\mu }_2)p(x,y)dxdy=\rho {\sigma }_1{\sigma }_2 \\ {\rho }_{XY}=\rho \end{gathered}$$

2. 引入矩阵：
   $$\vec{\mathbf{x}}=\left[\begin{array}{c}x\\ y\end{array}\right]\vec{\mu }=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]\mathbf{\Sigma }=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right]=\left[\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right]$$
   $\mathbf{\Sigma }为(X,Y)$的协方差矩阵。其行列式为 $\det \mathbf{\Sigma }={\sigma }_1^2{\sigma }_2^2(1-{\rho }^2)$，其逆矩阵为：
   $${\mathbf{\Sigma }}^{-1}=\frac{1}{\det \mathbf{\Sigma }}\left[\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right]$$
   于是$(X,Y)$ 的概率密度函数可以写作 $(\vec{\mathbf{x}}-\vec{\mu }{)}^T$表示矩阵的转置：
   p ( x , x ) = 1 ( 2 π ) ( det ⁡ Σ ) 1 / 2 exp ⁡ { − 1 2 ( x ⃗ − μ ⃗ ) T Σ − 1 ( x ⃗ − μ ⃗ ) } p(x,x)=\frac{1}{(2\pi)(\det \mathbf \Sigma)^{1/ 2}}\exp\{- \frac 12 ( \mathbf {\vec x}- \mathbf {\vec \mu})^{T} \mathbf \Sigma^{-1}( \mathbf {\vec x}- \mathbf {\vec \mu})\} p(x,x)=(2π)(detΣ)1/21​exp{−21​(x −μ ​)TΣ−1(x −μ ​)}
   其中：

   • 均值${\mu }_1,{\mu }_2$决定了曲面的位置（本例中均值都为0）。

   • 标准差${\sigma }_1,{\sigma }_2$ 决定了曲面的陡峭程度（本例中方差都为1）。

   • $\rho$决定了协方差矩阵的形状，从而决定了曲面的形状。

     • $\rho =0$ 时，协方差矩阵对角线非零，其他位置均为零。此时表示随机变量之间不相关。

       此时的联合分布概率函数形状如下图所示，曲面在$ z=0$ 平面的截面是个圆形：

       

     • $\rho =0.5$时，协方差矩阵对角线非零，其他位置非零。此时表示随机变量之间相关。

       此时的联合分布概率函数形状如下图所示，曲面在 $z=0$ 平面的截面是个椭圆，相当于圆形沿着直线 y=x 方向压缩 ：

       

   • $\rho =1$ 时，协方差矩阵对角线非零，其他位置非零。

     此时表示随机变量之间完全相关。此时的联合分布概率函数形状为：曲面在 $z=0$平面的截面是直线 $y=x$，相当于圆形沿着直线 $y=x$ 方向压缩成一条直线 。

     由于$\rho =1$ 会导致除数为 0，因此这里给出$\rho =0.9$ ：

     

3. 多维正态随机变量$(X_1,X_2,\cdots ,X_n)$，引入列矩阵：
   $$\vec{\mathbf{x}}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\vec{\mu }=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right]=\left[\begin{array}{c}\mathbb{E}[X_1]\\ \mathbb{E}[X_2]\\ ⋮\\ \mathbb{E}[X_n]\end{array}\right]$$
   $\mathbf{\Sigma }为(X_1,X_2,\cdots ,X_n)$的协方差矩阵。则：
   p ( x 1 , x 2 , x 3 , ⋯ &ThinSpace; , x n ) = 1 ( 2 π ) n / 2 ( det ⁡ Σ ) 1 / 2 exp ⁡ { − 1 2 ( x ⃗ − μ ⃗ ) T Σ − 1 ( x ⃗ − μ ⃗ ) } p(x_1,x_2,x_3,\cdots,x_n)=\frac {1}{(2\pi)^{n/2}(\det \mathbf \Sigma)^{1/2}} \exp \{- \frac 12( \mathbf {\vec x}- \mathbf {\vec \mu})^{T}\mathbf \Sigma^{-1}( \mathbf {\vec x}- \mathbf {\vec \mu})\} p(x1​,x2​,x3​,⋯,xn​)=(2π)n/2(detΣ)1/21​exp{−21​(x −μ ​)TΣ−1(x −μ ​)}
   记做 ：$\mathcal{N}(\vec{\mathbf{x}};\vec{\mu },\mathbf{\Sigma })=\sqrt{\frac{1}{(2\pi {)}^{n}det(\mathbf{\Sigma })}}\exp \left(-\frac{1}{2}(\vec{\mathbf{x}}-\vec{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\vec{\mathbf{x}}-\vec{\mu })\right)$ 。

4. n 维正态变量具有下列四条性质：

   • n 维正态变量的每一个分量都是正态变量；反之，若 $X_1,X_2,\cdots ,X_n$ 都是正态变量，且相互独立，则 $(X_1,X_2,\cdots ,X_n)$是 n 维正态变量。

   • n 维随机变量$(X_1,X_2,\cdots ,X_n)$服从 n 维正态分布的充要条件是：$X_1,X_2,\cdots ,X_n$的任意线性组合：$l_1{X}_1+l_2{X}_2+\cdots +l_n{X}_n$服从一维正态分布，其中$l_1,l_2,\cdots ,l_n$ 不全为 0 。

   • 若 $(X_1,X_2,\cdots ,X_n)$服从 n 维正态分布，设$Y_1,Y_2,\cdots,Y_k $是 $ X_j,j=1,2,\cdots,n$的线性函数，则 $(Y_1,Y_2,\cdots ,Y_k)$也服从多维正态分布。

     这一性质称为正态变量的线性变换不变性。

   • 设$(X_1,X_2,\cdots ,X_n)$服从 n 维正态分布，则 $X_1,X_2,\cdots ,X_n$ 相互独立 $⟺X_1,X_2,\cdots ,X_n$两两不相关。

5.5 拉普拉斯分布

1. 拉普拉斯分布：

   • 概率密度函数：$p(x;\mu ,\gamma )=\frac{1}{2\gamma }\exp \left(-\frac{|x-\mu |}{\gamma }\right)。$
   • 期望：$\mathbb{E}[X]=\mu$。方差： $Var[X]=2{\gamma }^2$

   

5.6 泊松分布

1. 假设已知事件在单位时间（或者单位面积）内发生的平均次数为$ \lambda$ ，则泊松分布描述了：事件在单位时间（或者单位面积）内发生的具体次数为 k 的概率。

   • 概率质量函数：$p(X=k;\lambda )=\frac{e^{-\lambda }{\lambda }^k}{k!}。$
   • 期望：$\mathbb{E}[X]=\lambda$ 。 方差： $Var[X]=\lambda$

   

2. 用均匀分布模拟泊松分布：

   def make_poisson(lmd,tm):
       '''
       用均匀分布模拟泊松分布。 lmd为 lambda 参数； tm 为时间
       '''
       t=np.random.uniform(0,tm,size=lmd*tm) # 获取 lmd*tm 个事件发生的时刻
       count,tm_edges=np.histogram(t,bins=tm,range=(0,tm))#获取每个单位时间内，事件发生的次数
       max_k= lmd *2 # 要统计的最大次数
       dist,count_edges=np.histogram(count,bins=max_k,range=(0,max_k),density=True)
       x=count_edges[:-1]
       return x,dist,stats.poisson.pmf(x,lmd)  
   

   该函数：

   • 首先随机性给出了 lmd*tm个事件发生的时间（时间位于区间[0,tm]）内。
   • 然后统计每个单位时间区间内，事件发生的次数。
   • 然后统计这些次数出现的频率。
   • 最后将这个频率与理论上的泊松分布的概率质量函数比较。

5.7 指数分布

1. 若事件服从泊松分布，则该事件前后两次发生的时间间隔服从指数分布。由于时间间隔是个浮点数，因此指数分布是连续分布。

   • 概率密度函数：（ t 为时间间隔）
     $$p(t;\lambda )=\{\begin{array}{ll}0,& t<0\\ \frac{\lambda }{\exp (\lambda t)},& t\ge 0\end{array}$$

   • 期望：$\mathbb{E}[t]=\frac{1}{\lambda }$ 。方差：Var[t]=$\frac{1}{{\lambda }^2}$。

     

2. 用均匀分布模拟指数分布：

   def make_expon(lmd,tm):
       '''
       用均匀分布模拟指数分布。 lmd为 lambda 参数； tm 为时间 
       '''
       t=np.random.uniform(0,tm,size=lmd*tm) # 获取 lmd*tm 个事件发生的时刻
       sorted_t=np.sort(t) #时刻升序排列
       delt_t=sorted_t[1:]-sorted_t[:-1] #间隔序列
       dist,edges=np.histogram(delt_t,bins="auto",density=True)
       x=edges[:-1]
       return x,dist,stats.expon.pdf(x,loc=0,scale=1/lmd) #scale 为 1/lambda
   

5.8 伽马分布

1. 若事件服从泊松分布，则事件第$ i$ 次发生和第 $ i+k $次发生的时间间隔为伽玛分布。由于时间间隔是个浮点数，因此指数分布是连续分布。

   • 概率密度函数：$p(t;\lambda ,k)=\frac{t^{(k-1)}{\lambda }^k{e}^{(-\lambda t)}}{\Gamma (k)}$， t 为时间间隔 。
   • 期望：$\mathbb{E}[t]=\frac{k}{\lambda }$。方差：$Var[t]=\frac{k}{{\lambda }^2}$。

2. 上面的定义中 $k$必须是整数。事实上，若随机变量$X$ 服从伽马分布，则其概率密度函数为：
   $$p(X;\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{X}^{\alpha -1}{e}^{-\beta X},X>0$$
   记做$\Gamma (\alpha ,\beta )$。其中$\alpha$ 称作形状参数，$\beta$称作尺度参数。

   • 期望 $\mathbb{E}[X]=\frac{\alpha }{\beta }$ ，方差$Var[X]=\frac{\alpha }{{\beta }^2}$ 。
   • 当$\alpha \le 1$ 时$，p(X;\alpha ,\beta )$为递减函数。
   • 当 $\alpha >1$ 时$，p(X;\alpha ,\beta )$为单峰函数。

   

3. 性质：

   • 当$\beta =n$时， 为 Erlang分布。
   • 当$\alpha =1,\beta =\lambda$ 时，就是参数为$\lambda$的指数分布。
   • 当$\alpha =\frac{n}{2},\beta =\frac{1}{2}$ 时，就是常用的卡方分布。

4. 伽马分布的可加性：设随机变量$X_1,X_2,\cdots ,X_n$相互独立并且都服从伽马分布： $X_i\sim \Gamma ({\alpha }_i,\beta )$，则：

   $X_1+X_2+\cdots +X_n\sim \Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_n,\beta )$

5. 用均匀分布模拟伽玛分布：

   def make_gamma(lmd,tm,k):
       '''
       用均匀分布模拟伽玛分布。 lmd为 lambda 参数； tm 为时间；k 为 k 参数
       '''
       t=np.random.uniform(0,tm,size=lmd*tm) # 获取 lmd*tm 个事件发生的时刻
       sorted_t=np.sort(t) #时刻升序排列
       delt_t=sorted_t[k:]-sorted_t[:-k] #间隔序列
       dist,edges=np.histogram(delt_t,bins="auto",density=True)
       x=edges[:-1]
       return x,dist,stats.gamma.pdf(x,loc=0,scale=1/lmd,a=k) #scale 为 1/lambda,a 为 k
   

5.9 贝塔分布

1. 贝塔分布是定义在 (0,1) 之间的连续概率分布。

   如果随机变量 X 服从贝塔分布，则其概率密度函数为：
   $$p(X,\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{X}^{\alpha -1}(1-X{)}^{\beta -1}=\frac{1}{B(\alpha ,\beta )}{X}^{\alpha -1}(1-X{)}^{\beta -1},0\le X<1$$
   记做 $Beta(\alpha ,\beta )$。

   • 众数为：$\frac{\alpha -1}{\alpha +\beta -2}$ 。
   • 期望为： $\mathbb{E}[X]=\frac{\alpha }{\alpha +\beta }$ ，方差为：$Var[X]=\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}。$

   

5.10 狄拉克分布

1. 狄拉克分布：假设所有的概率都集中在一点$\mu$ 上，则对应的概率密度函数为：$p(x)=\delta (x-\mu )$ 。

   其中$ \delta(\cdot) $为狄拉克函数，其性质为：

   $$\begin{gathered} \delta (x)=0,\forall x̸=0 \\ {\int }_{-\infty }^{\infty }\delta (x)dx=1 \end{gathered}$$

2. 狄拉克分布的一个典型用途就是定义连续型随机变量的经验分布函数。假设数据集中有样本${\vec{\mathbf{x}}}_1,{\vec{\mathbf{x}}}_2,\cdots ,{\vec{\mathbf{x}}}_N$ ，则定义经验分布函数：

   $\hat{p}(\vec{\mathbf{x}})=\frac{1}{N}{\sum }_{i=1}^N\delta (\vec{\mathbf{x}}-{\vec{\mathbf{x}}}_i)$

   它就是对每个样本赋予了一个概率质量$ \frac 1N$ 。

3. 对于离散型随机变量的经验分布，则经验分布函数就是multinoulli分布，它简单地等于训练集中的经验频率。

4. 经验分布的两个作用：

   • 通过查看训练集样本的经验分布，从而指定该训练集的样本采样的分布（保证采样之后的分布不失真）。
   • 经验分布就是使得训练数据的可能性最大化的概率密度函数。

5.11 多项式分布与狄里克雷分布

1. 多项式分布的质量密度函数：
   $$Mult(m_1,m_2,\cdots ,m_K;\vec{\mu },N)=\frac{N!}{m_1!m_2!\cdots m_K!}\prod _{k=1}^K{\mu }_k^{m_k}$$
   它是$({\mu }_1+{\mu }_2+\cdots +{\mu }_K{)}^{m_1+m_2+\cdots +m_K}$的多项式展开的形式。

2. 狄利克雷分布的概率密度函数：
   $$Dir(\vec{\mu };\vec{\alpha })=\frac{\Gamma ({\sum }_{k=1}^K{\alpha }_k)}{{\sum }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}$$

3. 可以看到，多项式分布与狄里克雷分布的概率密度函数非常相似，区别仅仅在于前面的归一化项：

   • 多项式分布是针对离散型随机变量，通过求和获取概率。
   • 狄里克雷分布时针对连续型随机变量，通过求积分来获取概率。

5.12 混合概率分布

1. 混合概率分布：它组合了其他几个分量的分布来组成。

   • 在每次生成样本中，首先通过multinoulli分布来决定选用哪个分量，然后由该分量的分布函数来生成样本。

   • 其概率分布函数为：
     $$p(x)=\sum _{i}P(c=i)p(x\mid c=i)$$
     其中 p(c=i) 为一个multinoulli分布，c 的取值范围就是各分量的编号。

2. 前面介绍的连续型随机变量的经验分布函数就是一个混合概率分布的例子，此时$ p(c=i)=\frac 1N $。

3. 混合概率分布可以通过简单的概率分布创建更复杂的概率分布。一个常见的例子是混合高斯模型，其中 $p(x\mid c=i)$为高斯模型。每个分量都有对应的参数$({\vec{\mu }}_i,{\mathbf{\Sigma }}_i)。$

   • 有些混合高斯模型有更强的约束，如$\forall i,{\mathbf{\Sigma }}_i=\mathbf{\Sigma }$ ，更进一步还可以要求$\mathbf{\Sigma }$为一个对角矩阵。
   • 混合高斯模型是一个通用的概率密度函数逼近工具。任何平滑的概率密度函数都可以通过足够多分量的混合高斯模型来逼近。

六、先验分布与后验分布

1. 在贝叶斯学派中，先验分布+数据（似然）= 后验分布 。

2. 例如：假设需要识别一大箱苹果中的好苹果、坏苹果的概率。

   • 根据你对苹果好、坏的认知，给出先验分布为：50个好苹果和50个坏苹果。

   • 现在你拿出10个苹果，发现有：8个好苹果，2个坏苹果。

     根据数据，你得到后验分布为：58个好苹果，52个坏苹果

   • 再拿出10个苹果，发现有：9个好苹果，1个坏苹果。

     根据数据，你得到后验分布为：67个好苹果，53个坏苹果

   • 这样不断重复下去，不断更新后验分布。当一箱苹果清点完毕，则得到了最终的后验分布。

在这里：

• 如果不使用先验分布，仅仅清点这箱苹果中的好坏，则得到的分布只能代表这一箱苹果。
• 采用了先验分布之后得到的分布，可以认为是所有箱子里的苹果的分布。
• 当采用先验分布时：给出的好、坏苹果的个数（也就是频数）越大，则先验分布越占主导地位。

3. 假设好苹果的概率为$ p $，则抽取 N 个苹果中，好苹果个数为 k 个的概率为一个二项分布：

   $Binom(k\mid p;N)=C_N^k{p}^k(1-p{)}^{N-k}$

   其中 $C_N^k$ 为组合数。

4. 现在的问题是：好苹果的概率 $p$ 不再固定，而是服从一个分布。

   假设好苹果的概率$p$的先验分布为贝塔分布：$Beta(p;\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{\alpha -1}(1-p{)}^{\beta -1}$

   则后验概率为：
   $$\begin{gathered} P(p\mid k;N,\alpha ,\beta )=\frac{P(k\mid p;N)\times P(p;\alpha ,\beta )}{P(k;N,\alpha ,\beta )} \\ \propto P(k\mid p;N)\times P(p;\alpha ,\beta )=C_N^k{p}^k(1-p{)}^{N-k}\times \frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{\alpha -1}(1-p{)}^{\beta -1} \\ \propto p^{k+\alpha -1}(1-p{)}^{N-k+\beta -1} \end{gathered}$$
   归一化之后，得到后验概率为：
   $$P(p\mid k;N,\alpha ,\beta )=\frac{\Gamma (\alpha +\beta +N)}{\Gamma (\alpha +k)\Gamma (\beta +N-k)}{p}^{k+\alpha -1}(1-p{)}^{N-k+\beta -1}$$

5. 好苹果概率 p 的先验分布的期望为：$\mathbb{E}[p]=\frac{\alpha }{\alpha +\beta }$ 。好苹果概率 p 的后验分布的期望为：$\mathbb{E}[p\mid k]=\frac{\alpha +k}{\alpha +\beta +N}。$

   • 根据上述例子所述：
     • 好苹果的先验概率的期望为$\frac{50}{50+50}=\frac{1}{2}$
     • 进行第一轮数据校验之后，好苹果的后验概率的期望为 $\frac{50+8}{50+50+10}=\frac{58}{110}$
   • 如果将$ \alpha$ 视为先验的好苹果数量， $\beta$ 视为先验的坏苹果数量， $ N$ 表示箱子中苹果的数量，$ k $表示箱子中的好苹果数量（相应的， $ N-k $就是箱子中坏苹果的数量）。则：好苹果的先验概率分布的期望、后验概率分布的期望符合人们的生活经验。
   • 这里使用先验分布和后验分布的期望，因为 p 是一个随机变量。若想通过一个数值来刻画好苹果的可能性，则用期望较好。

6. 更一般的，如果苹果不仅仅分为好、坏两种，而是分作尺寸1、尺寸2、...尺寸K等。则 N 个苹果中，有$ m_1 $个尺寸1的苹果、 $ m_2$ 个尺寸2的苹果…$ m_K$ 个尺寸 K 的苹果的概率服从多项式分布：
   $$Mult(m_1,m_2,\cdots ,m_K;\vec{\mu },N)=\frac{N!}{m_1!m_2!\cdots m_K!}\prod _{k=1}^K{\mu }_k^{m_k}$$
   其中苹果为尺寸1的概率为$ \mu_1$ ， 尺寸2的概率为 ${\mu }_2$ ，… 尺寸 K 的概率为 ${\mu }_K$，$N={\sum }_{k=1}^K{m}_k$

   • 假设苹果尺寸的先验概率分布为狄利克雷分布：
     $$Dir(\vec{\mu };\vec{\alpha })=\frac{\Gamma ({\sum }_{k=1}^K{\alpha }_k)}{{\sum }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}。$$
     苹果尺寸的先验概率分布的期望为：$\mathbb{E}[\vec{\mu }]=\left(\frac{{\alpha }_1}{{\sum }_{k=1}^K{\alpha }_k},\frac{{\alpha }_2}{{\sum }_{k=1}^K{\alpha }_k},\cdots ,\frac{{\alpha }_K}{{\sum }_{k=1}^K{\alpha }_k}\right)。$

   • 则苹果尺寸的后验概率分布也为狄里克雷分布：$Dir(\vec{\mu };\vec{\alpha }+\vec{\mathbf{m}})=\frac{\Gamma (N+{\sum }_{k=1}^K{\alpha }_k)}{{\sum }_{k=1}^K\Gamma ({\alpha }_k+m_k)}{\prod }_{k=1}^K{\mu }_k^{{\alpha }_k+m_k-1}。$

     苹果尺寸的后验概率分布的期望为：$\mathbb{E}[\vec{\mu }]=\left(\frac{{\alpha }_1+m_1}{N+{\sum }_{k=1}^K{\alpha }_k},\frac{{\alpha }_2+m_2}{N+{\sum }_{k=1}^K{\alpha }_k},\cdots ,\frac{{\alpha }_K+m_K}{N+{\sum }_{k=1}^K{\alpha }_k}\right)。$

七、信息论

1. 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。

   • 发生可能性较大的事件包含较少的信息。
   • 发生可能性较小的事件包含较多的信息。
   • 独立事件包含额外的信息 。

2. 对于事件 $ X=x$ ，定义自信息self-information为：$I(x)=-\log P(x)$。

   自信息仅仅处理单个输出，但是如果计算自信息的期望，它就是熵：
   $$H(X)={\mathbb{E}}_{X\sim P(X)}[I(x)]=-{\mathbb{E}}_{X\sim P(X)}[\log P(x)]$$
   记作 H§。

   • 熵刻画了按照真实分布 P 来识别一个样本所需要的编码长度的期望（即平均编码长度）。

     如：含有4个字母 (A,B,C,D) 的样本集中，真实分布 $P=(\frac{1}{2},\frac{1}{2},0,0)$，则只需要1位编码即可识别样本。

   • 对于离散型随机变量 $ X，$假设其取值集合大小为 $ K$ ，则可以证明：$0\le H(X)\le \log K$ 。

3. 对于随机变量 $Y$和 $X$ ，条件熵 $H(Y\mid X)$表示：已知随机变量 $X$的条件下，随机变量$Y$的不确定性。

   它定义为：$X$ 给定条件下$Y$ 的条件概率分布的熵对 X 的期望：
   $$H(Y\mid X)={\mathbb{E}}_{X\sim P(X)}[H(Y\mid X=x)]=-{\mathbb{E}}_{(X,Y)\sim P(X,Y)}\log P(Y\mid X)$$

   • 对于离散型随机变量，有：
     $$H(Y\mid X)=\sum _{x}p(x)H(Y\mid X=x)=-\sum _x\sum _{y}p(x,y)\log p(y\mid x)$$

   • 对于连续型随机变量，有：
     $$H(Y\mid X)=\int p(x)H(Y\mid X=x)dx=-\int \int p(x,y)\log p(y\mid x)dxdy$$

4. 根据定义可以证明：$H(X,Y)=H(Y\mid X)+H(X)$。

   即：描述 X 和 Y 所需要的信息是：描述 X 所需要的信息加上给定 X 条件下描述 Y 所需的额外信息。

5. KL散度（也称作相对熵）：对于给定的随机变量 X，它的两个概率分布函数 P(X) 和 Q(X) 的区别可以用 KL散度来度量：
   $$D_{KL}(P||Q)={\mathbb{E}}_{X\sim P(X)}\left[\log \frac{P(x)}{Q(x)}\right]={\mathbb{E}}_{X\sim P(X)}\left[\log P(x)-\log Q(x)\right]$$

   • KL散度非负：当它为 0 时，当且仅当 P和Q是同一个分布（对于离散型随机变量），或者两个分布几乎处处相等（对于连续型随机变量）。

   • KL散度不对称：$D_{KL}(P||Q)̸=D_{KL}(Q||P)。$

     直观上看对于 $D_{KL}(P||Q)$，当$P(x)$较大的地方， $Q(x)$也应该较大，这样才能使得$P(x)\log \frac{P(x)}{Q(x)}$较小。

     对于$P(x)$较小的地方，$Q(x) $就没有什么限制就能够使得$P(x)\log\frac {P(x)}{Q(x)}$较小。这就是KL散度不满足对称性的原因。

6. 交叉熵cross-entropy：$H(P,Q)=H(P)+D_{KL}(P||Q)=-{\mathbb{E}}_{X\sim P(X)}\log Q(x)。$

   • 交叉熵刻画了使用错误分布Q 来表示真实分布 P 中的样本的平均编码长度。
   • $D_{KL(P||Q)}$刻画了错误分布Q 编码真实分布 P 带来的平均编码长度的增量。

7. 示例：假设真实分布 P 为混合高斯分布，它由两个高斯分布的分量组成。如果希望用普通的高斯分布 Q 来近似 P ，则有两种方案：
   $$\begin{gathered} Q_1^{\ast }=\arg \underset{Q}{\min }{D}_{KL}(P||Q) \\ {Q}_2^{\ast }=\arg \underset{Q}{\min }{D}_{KL}(Q||P) \end{gathered}$$
   

   • 如果选择 $Q_1^{\ast }$，则：

     • 当$P(x)$较大的时候$Q(x)$也必须较大 。如果$P(x)$较大时$Q(x)$较小，则 $P(x)\log \frac{P(x)}{Q(x)}$较大。
     • 当 $P(x) $较小的时候$ Q(x) $可以较大，也可以较小。

     因此 $Q_1^{\ast }$会贴近$P(x)$的峰值。由于$P(x)$的峰值有两个，因此$Q_1^{\ast }$无法偏向任意一个峰值，最终结果就是$Q_1^{\ast }$的峰值在 $P(x)$的两个峰值之间。

     

   • 如果选择 $Q_2^{\ast }$，则：

     • 当$P(x)$较小的时候，$Q(x)$必须较小。如果$P(x)$较小的时$Q(x)$较大，则$Q(x)\log \frac{Q(x)}{P(x)}$较大。
     • 当$P(x)$较大的时候，$Q(x)$可以较大，也可以较小。

     因此$Q_2^{\ast }$会贴近 $P(x)$的谷值。最终结果就是$Q_2^{\ast }$会贴合$P(x) $峰值的任何一个。

     

   • 绝大多数场合使用$D_{KL}(P||Q)$，原因是：当用分布 Q 拟合 P 时我们希望对于常见的事件，二者概率相差不大。

八、其它

1. 假设随机变量 $X,Y$ 满足$Y=g(X)$，且函数$g(\cdot )$满足：处处连续、可导、且存在反函数。 则有：
   $$p_X(x)=p_Y(g(x))\left|\frac{\partial g(x)}{\partial x}\right|$$
   或者等价地（其中$g^{-1}(\cdot )$为反函数）：
   $$p_Y(y)=p_X(g^{-1}(y))\left|\frac{\partial x}{\partial y}\right|$$

   • 如果扩展到高维空间，则有：
     $$p_X(\vec{\mathbf{x}})=p_Y(g(\vec{\mathbf{x}}))\left|\det \left(\frac{\partial g(\vec{\mathbf{x}})}{\partial \vec{\mathbf{x}}}\right)\right|$$

   • 并不是 $p_Y(y)=p_X(g^{-1}(y))$，这是因为$g(\cdot )$引起了空间扭曲，从而导致 $\int p_X(g(x))dx̸=1$。

     根据$|p_Y(g(x))dy|=|p_X(x)dx|$，求解该方程，即得到上述解。

2. 机器学习中不确定性有三个来源：

   • 模型本身固有的随机性。如：量子力学中的粒子动力学方程。

   • 不完全的观测。即使是确定性系统，当无法观测所有驱动变量时，结果也是随机的。

   • 不完全建模。有时必须放弃一些观测信息。

     如机器人建模中：虽然可以精确观察机器人周围每个对象的位置，但在预测这些对象将来的位置时，对空间进行了离散化。则位置预测将带有不确定性。