机器学习中的数学：（五）概率与分布(Probability and Distributions)

概率空间的构造（Construction of a Probability Space）

哲学问题（Philosophical Issues）

这部分是对概率的一个解释。概率论是推理系统的一个基础，个人理解就是推理实际上就是找到对某件事情的可能性最大的结果。这里引入了一个合理性（plausibility），并用数学标准描述出来了。

在机器学习中，对概率的解释有两种，一种是贝叶斯式（the Bayesian）还有一种是频率论（Frequentist）前者用概率描述事物的不确定性，后者用在特定时间段中发生特定事情的频率。

概率和随机变量（Probability and Random Variables）

几个概念：
样品空间$\Omega$（sample space）：一个实验可能出现的所有的结果的集合。
事件空间$\mathcal{A}$(event space):样品空间的一个子集
概率P（probability）：$P(A)$,一个事件$A\in \mathcal{A}$发生的概率。
目标空间$\mathcal{T}$（target space）和随机变量$X$(random variable)：为了找到样品空间中我们关注的量，用一个函数$X:\Omega \to \mathcal{T}$， 其中,$X$称为随机变量。(对，随机变量实际上是一个函数)

One way to understand the transformation of probability from events in $\Omega$ via the random variable X is to associate it with the probability of the pre-image of S
对于一个随机变量$X:\Omega \to \mathcal{T}$和目标空间的一个子集$S\subseteq \mathcal{T}$,则$X^{-1}(S)$为$S$经过$X$变换的原象（pre-image），也就是$\Omega$中的$X^{-1}(S)$经过$X$的变换之后得到$S$，所以有：
P X ( S ) = P ( X ∈ S ) = P ( X − 1 ( S ) ) = P ( {   ω ∈ Ω : X ( ω ) ∈ S } ) P_X(S) = P(X\in S)=P(X^{-1}(S))=P(\{\ \omega\in\Omega:X(\omega)\in S \}) PX​(S)=P(X∈S)=P(X−1(S))=P({ ω∈Ω:X(ω)∈S})
这里称$P_X$或者$P\circ X^{-1}$为随机变量$X$的分布（distribution）或者（law？）

个人理解，随机变量实际上就是对样品空间的某些特性的量化描述，例如，对于一个抛两个硬币的实验，在样品空间中，一次实验正面出现的次数可以为0、1、2，可以将这些数字对应到事件上去，这就是随机变量。

统计（Statistics）

统计和概率往往是一起出现的，但是二者的侧重点不太一样，前者是关注找出能解释观察到的现象的内在过程。后者可以认为是一些过程的模型，其中的不确定性事件被随机变量存储下来，然后用概率的一些规律去弄清楚发生了什么。

离散概率和连续概率（Discrete and Continuous Probabilities）

离散型概率和连续型概率的区别就是前者的目标空间是离散的，后者是连续的。也就是前者的随机变量是由一个个数组成，后者则是一个连续的区间。

离散型概率（Discrete Probabilities）

由上图可以得到几个概念：
联合概率（joint probability）：两个事件的交集
$$P(X=x_i,Y=y_i)=\frac{n_{ij}}{N}$$
也可以写成$p(x,y)$

边际概率（marginal probability）：$P(X=x_i)=\frac{x_i}{N}$
条件概率（conditional probability）：当一个事件发生时另一个事件发生的概率
$$P(X=x_i|Y=y_{ij})=\frac{n_{ij}}{r_j}$$

连续性概率（Continuous Probabilities）

没弄懂。

还有之后提到的，在连续空间中两个反直觉的问题：
1.$\mathcal{A}$ needs to be restricted to behave well under set complements, set intersections,and set unions
2.测量集合的大小。量度（measure）、集的势（cardinality）：集合中的元素的个数，当两个集合中的元素个数相等的时候，称为等势
Sets that behave well under set operations and additionally have a topology are called a Borel $\sigma$-algebra

概率密度函数

用概率密度函数可以求解在给定区间当中的概率：
$$P(a\le X\le )={\int }_b^{a}f(x)dx$$
注意一点，一个点在连续函数中出现的概率为0，即在上式$a=b$时.

累积分布函数

即：
$$F_X(x)={\int }_{-\infty }^{x_1}\cdots {\int }_{-\infty }^{x_D}f(z_1,\dots ,z_D)d{z}_1\dots d{z}_D$$

加法法则、乘法法则和贝叶斯定理（Sum Rule, Product Rule, and Bayes’ Theorem）

加法法则：
$$p(\mathbf{x})=\{\begin{array}{ll}\sum _{\mathbf{y}\in \mathcal{Y}}p(\mathbf{x},\mathbf{y})& \text{ if }\mathbf{y}\text{ is discrete }\\ & \\ {\int }_{\mathcal{Y}}p(\mathbf{x},\mathbf{y})\mathrm{d}\mathbf{y}& \text{ if }\mathbf{y}\text{ is continuous }\end{array}$$
推广至多变量：
设$\mathbf{x}=[x_1,x_2,\dots ,x_D{]}^{\top }$:

$$p(x_i)=\int p(x_1,\dots ,x_D)d{\mathbf{x}}_{\backslash i}$$
其中，${\mathbf{x}}_{\backslash i}$,表示除了$i$以外的所有的元素。

乘法法则
$$\begin{gathered} p(x,y)=p(y|x)p(x) \\ p(y,x)=p(x|y)p(y) \end{gathered}$$
由于随机变量的顺序无关紧要，所以上面两个式子是等价的。

贝叶斯公式
这个公式可以由乘法法则推出。（也被称为概率逆（probabilistic inverse））

the posterior distribution is the quantity of interest as it encapsulates all available information from the prior and the data.

从上图中理解，最终的后验概率就是浅蓝色部分占蓝色部分的比例。
$p(x)$称为先验概率，描述的是一些已知事件发生的概率，之后的$p(y|x)$是在这些已知事件中y发生的概率称为似然概率，最后是y事件在整体中发生的概率。

举一个例子，想要知道一群人当中脾气好的女生有多少，首先，女生在人群中比例可以看成先验概率$p(girl)$，而女生中脾气好的人数比例可以看成似然概率$p(good\_temper|girl)$，所以$p(girl|good\_temper)$的意思就是脾气好的人中女生的比例,但是男生中也有脾气好的，所以用女生脾气好的人数，除以所有脾气好的人数就是想要求得概率了。

似然函数(likelihood function):在该数据下，数据拟合的好坏,也就是在当前参数的情况下对真是数据的匹配情况。具体来说就是在给的那个参数的情况下，取得预期值的概率的大小，即$p(x|\theta )$

边际似然（marginal likelihood/evidence）
$$p(\mathbf{y}):=\int p(\mathbf{y}|\mathbf{x})p(\mathbf{x})d\mathbf{x}={\mathbb{E}}_X[p(\mathbf{y}|\mathbf{x})]$$

由上式可知，边际似然是与x相互独立的，这也被称为期望似然概率。

摘要统计和独立性（Summary Statistics and Independence）

摘要统计:In descriptive statistics, summary statistics are used to summarize a set of observations, in order to communicate the largest amount of information as simply as possible
实际上就是用一种尽可能简洁得方式概括数据的信息。

均值和协方差（Means and Covariances）

数学期望（Expected Value）
$$\begin{gathered} g:\mathbb{R}\to \mathbb{R},X\sim p(x) \\ {\mathbb{E}}_X[g(x)]=\{\begin{array}{l}{\int }_{\mathcal{X}}g(x)p(x)dx,continuous\\ \\ \sum _{x\in \mathcal{X}}g(x)p(x),discrete\end{array} \end{gathered}$$
注意这个式子中是函数值乘以对应的概率值，所以最终得到的是映射值得概率均值。对于由有限个一维随机变量组成得数组：
$${\mathbb{E}}_X[g(\mathbf{x})]=\left[\begin{array}{c}{\mathbb{E}}_{X_1}\left[g\left(x_1\right)\right]\\ ⋮\\ {\mathbb{E}}_{X_D}\left[g\left(x_D\right)\right]\end{array}\right]\in {\mathbb{R}}^D$$
数学期望满足线性算子的性质：
$$\begin{array}{rl}{\mathbb{E}}_X[f(\mathbf{x})]& =\int f(\mathbf{x})p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =\int [ag(\mathbf{x})+bh(\mathbf{x})]p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =a\int g(\mathbf{x})p(\mathbf{x})\mathrm{d}x+b\int h(\mathbf{x})p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =a{\mathbb{E}}_X[g(\mathbf{x})]+b{\mathbb{E}}_X[h(\mathbf{x})]\end{array}$$
均值（Mean）
均值是描述映射前的数据的情况。
对于一个随机变量$X$,其中$x\in {\mathbb{R}}^D$
所以：

$${\mathbb{E}}_X[\mathbf{x}]=\left[\begin{array}{c}{\mathbb{E}}_{X_1}[x_1]\\ ⋮\\ {\mathbb{E}}_{X_D}[x_D]\end{array}\right]\in R^D$$
$${\mathbb{E}}_{X_d}\left[x_d\right]:=\{\begin{array}{ll}{\int }_{\mathcal{X}}{x}_{d}p\left(x_d\right)\mathrm{d}{x}_d& \text{ if }X\text{ is a continuous random variable }\\ {\sum }_{x_i\in \mathcal{X}}{x}_{i}p\left(x_d=x_i\right)& \text{ if }X\text{ is a discrete random variable }\end{array}$$

中位数（median）
一组数据中大于一遍数据而小于另一边数据的数字。中位数能够有效地应对异常值。
众数（mode）
一组数据中出现次数最多的数字。在连续随机变量中，众数是概率密度最大的数。

上面两种数字对于高维的数据的处理时比较麻烦? 在高维数据中，各个维度的数值大小判断准则不统一。

协方差（Covariance）：
协方差描述两个随机变量之间的相互关系（衡量两个随机变量的联合变化程度）。
单变量：
$$X,Y\in \mathbb{R}$$
$${\mathrm{Cov}}_{X,Y}[x,y]:={\mathbb{E}}_{X,Y}[(x-{\mathbb{E}}_X[x])(y-{\mathbb{E}}_Y[y])]$$
利用线性性质，可以将上式化简为：
$$Cov[x,y]=\mathbb{E}[xy]-\mathbb{E}[x]\mathbb{E}[y]$$
随机变量与自己本身的协方差称为方差(variance)，即$Cov[x,x]$,表示为${\mathbb{V}}_X[x]$,方差的开根之后的值称为标准偏差(standard deviation)，表示为$\sigma (x)$
多变量：

多变量方差：

设随机变量$X$有$x\in {\mathbb{R}}^D$, 均值向量$\mu \in {\mathbb{R}}^D$:
$$\begin{array}{rl}{\mathbb{V}}_X[\mathbf{x}]& ={\mathrm{Cov}}_X[\mathbf{x},\mathbf{x}]\\ & ={\mathbb{E}}_X\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\top }\right]={\mathbb{E}}_X\left[\mathbf{x}{\mathbf{x}}^{\top }\right]-{\mathbb{E}}_X[\mathbf{x}]{\mathbb{E}}_X[\mathbf{x}{]}^{\top }\\ & =\left[\begin{array}{cccc}\mathrm{Cov}\left[x_1,x_1\right]& \mathrm{Cov}\left[x_1,x_2\right]& \dots & \mathrm{Cov}\left[x_1,x_D\right]\\ \mathrm{Cov}\left[x_2,x_1\right]& \mathrm{Cov}\left[x_2,x_2\right]& \dots & \mathrm{Cov}\left[x_2,x_D\right]\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{Cov}\left[x_D,x_1\right]& \dots & \dots & \mathrm{Cov}\left[x_D,x_D\right]\end{array}\right]\end{array}$$
上式中的矩阵称为协方差矩阵（covariance matrix），是一个对称半正定的矩阵。它描述了数据的分散情况。对角线元素为方差，非对角线元素为互协方差（cross-covariance）

相关性（Correlation）
相关性描述两个随机变量之间的关系。
$$\mathrm{corr}[x,y]=\frac{\mathrm{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}\in [-1,1].$$
相关性矩阵就是标准化的随机变量（standardized random variables），即$x/\sigma (x)$

If the greater values of one variable mainly correspond with the greater values of the other variable, and the same holds for the lesser values (that is, the variables tend to show similar behavior), the covariance is positive.

正相关与负相关

样本均值和样本方差（Empirical Means and Covariances）

就是将原先的数据中拿出一部分的数据作为样本，所得出的均值和方差。之前提到的均值是全平均值（population mean），方差也一样。

方差的三种表达式（Three Expressions for the Variance）

方差的定义式，但是因为需要求均值，又要将样本数逐一进行运算，所以需要将数据遍历两遍。
$${\mathbb{V}}_X[x]:={\mathbb{E}}_X\left[(x-\mu {)}^2\right]$$
对原始式进行整理得到下式，这个式子称为变量的原始分数形式（raw-score formula for variance），虽然这样可以避免对数据进行两次的遍历，但是这在数值上是不稳定的（numerically unstable）。（？精度上的损失？）
$${\mathbb{V}}_X[x]={\mathbb{E}}_X\left[x^2\right]-{\left({\mathbb{E}}_X[x]\right)}^2$$
方差还可以理解成数据中的所有数字与其他所有的数字之间的差距的均值。
$$\frac{1}{N^2}\sum _{i,j=1}^N{\left(x_i-x_j\right)}^2=2\left[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)}^2\right]$$

there is an equivalence between the pairwise distances and the distances from the center of the set of points

随机变量的加法运算和变换（Sums and Transformations of Random Variables）

对于一个仿射变换$\mathbf{y}=\mathbf{A}x+\mathbf{b}$有：

统计独立性(Statistical Independence)

当两个随机变量相互独立的时候，有以下性质。注意最后一个，当两个随机变量相互独立的时候，相关性等于0，但是相关性等于0的时候，不能说明两个随机变量相互独立，因为独立性是描述随机变量之间的线性独立，假设随机变量之间的关系不是线性的，那么相关性为0时，不能说这两个随机变量是相互独立的。

两随机变量相互独立时的一些性质：
$$\begin{array}{rl}& p(\mathbf{y}\mid \mathbf{x})=p(\mathbf{y})\\ & p(\mathbf{x}\mid \mathbf{y})=p(\mathbf{x})\\ & {\mathbb{V}}_{X,Y}[\mathbf{x}+\mathbf{y}]={\mathbb{V}}_X[\mathbf{x}]+{\mathbb{V}}_Y[\mathbf{y}]\\ & {\mathrm{Cov}}_{X,Y}[\mathbf{x},\mathbf{y}]=0\end{array}$$

独立均匀分布（independent and identically distributed (i.i.d.)）
变量之间相互独立，而且来自于同一个分布中。
条件独立（conditional independence）

表示为$X\perp \perp Y\mid Z$
$$\begin{gathered} p(x,y)=p(y|x)p(x) \\ p(x,y|z)=p(x|z)p(y|z),z\in \mathcal{Z} \end{gathered}$$
利用第一个式子将第二个式子的左边展开，得到：
$$p(\mathbf{x},\mathbf{y}|z)=p(\mathbf{x}|\mathbf{y},z)p(\mathbf{y}|z)$$
与原始比较可以得到：
$$p(x|y,z)=p(x|z)$$
这样可以得到条件独立的另一个定义，也就是我们知道y这个结论，对最终的结果没有影响。原式可以理解为在z的条件下，两个随机变量相互独立。统计独立可以看成条件独立的一个特例：$X\perp \perp Y\mid /0$

随机变量的内积（Inner Products of Random Variables）

两个相互独立的随机变量$X,Y$,有以下性质：($\mathrm{Cov}[x,y]=0$)
$$\mathbb{V}(x+y)=\mathbb{V}(x)+\mathbb{V}(y)$$
由于方差是立方项，所以上式可以联想到勾股定理（the Pythagorean theorem）。
（每一个随机变量都可以看成一个向量空间中的向量）假设对于随机变量之间的内积的定义如下：
$$<X,Y>:=\mathrm{Cov}[x,y]$$
根据这个定义可以得到随机变量的长度：

$$\Vert X\Vert =\sqrt{\mathrm{Cov}[x,x]}=\sqrt{\mathbb{V}[x]}=\sigma [x]$$
这里可以看到，随机变量“越长”，所对应的数据就越分散。
还可以根据两向量的角度的定义得到：
$$\cos \theta =\frac{⟨X,Y⟩}{\Vert X\Vert \Vert Y\Vert }=\frac{\mathrm{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}$$
可以看到两个随机变量的“夹角”的余弦值就是相关性（$\mathrm{corr}[x,y]=\frac{\mathrm{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}\in [-1,1].$）
所以，当两个随机变量相会垂直的时候，也就是$X\perp Y$时，$⟨X,Y⟩=0$这时候二者的夹角为90°，对应的余弦值为0，也就是说这两个随机变量时不相关的。

之后提到用用欧几里得距离去比较两个随机变量的分布并不是最好的方式，这里提到了一个领域信息几何（information geometry）一个新名词廖（manifold），这部分没有弄得很清楚，留到后续再进行深入学习

高斯分布（Gaussian Distribution）

一维随机变量的高斯分布：
$$p\left(x\mid \mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
其中，$\mu$代表均值，$\sigma$代表随机变量得方差。
对于多元正态分布：（multivariate Gaussian distribution）（$\mu$为均值向量，$\Sigma$为协方差矩阵）
$$p(\mathbf{x}\mid \mathbf{\mu },\mathbf{\Sigma })=(2\pi {)}^{-\frac{D}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$$

其中，$x\in {\mathbb{R}}^D,p(x)=\mathcal{N}(x|\mu ,\Sigma )orX\sim \mathcal{N}(\mu ,\Sigma )$
在图像中表示为：

当$\mu =0,\Sigma =I$时，将这种分布称为标准正态分布（standard normal distribution.）

高斯分布的边际分布和条件分布仍旧是高斯分布（Marginals and Conditionals of Gaussians are Gaussians）

假设$X、Y$是多维随机变量，则有：
$$p(\mathbf{x},\mathbf{y})=\mathcal{N}\left(\left[\begin{array}{l}{\mathbf{\mu }}_x\\ {\mathbf{\mu }}_y\end{array}\right],\left[\begin{array}{ll}{\mathbf{\Sigma }}_{xx}& {\mathbf{\Sigma }}_{xy}\\ {\mathbf{\Sigma }}_{yx}& {\mathbf{\Sigma }}_{yy}\end{array}\right]\right)$$

$X、Y$的条件分布也是高斯分布：
$$\begin{array}{rl}p(\mathbf{x}\mid \mathbf{y})& =\mathcal{N}\left({\mathbf{\mu }}_{x\mid y},{\mathbf{\Sigma }}_{x\mid y}\right)\\ {\mathbf{\mu }}_{x\mid y}& ={\mathbf{\mu }}_x+{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}\left(\mathbf{y}-{\mathbf{\mu }}_y\right)\\ {\mathbf{\Sigma }}_{x\mid y}& ={\Sigma }_{xx}-{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}{\Sigma }_{yx}\end{array}$$

这是$x_2=-1$是的条件分布。

边际分布：
$$p(\mathbf{x})=\int p(\mathbf{x},\mathbf{y})\mathrm{d}\mathbf{y}=\mathcal{N}\left(\mathbf{x}\mid {\mathbf{\mu }}_x,{\mathbf{\Sigma }}_{xx}\right)$$

高斯密度函数的乘积（Product of Gaussian Densities）

对于两个高斯函数$\mathcal{N}(x|a,A),\mathcal{N}(x|b,B)$二者的乘积为：$c\mathcal{N}(x|c,C)$,其中：
$$\begin{array}{rl}C& ={\left(A^{-1}+B^{-1}\right)}^{-1}\\ c& =C\left(A^{-1}a+B^{-1}b\right)\\ c& =(2\pi {)}^{-\frac{D}{2}}|A+B{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(a-b{)}^{\top }(A+B{)}^{-1}(a-b)\right)\end{array}$$

比例常数c也可以写成：
$$c=\mathcal{N}(a|b,A+B)=\mathcal{N}(b|a,A+B)$$

和运算和线性变换（Sums and Linear Transformations）

当两个相互独立的且满足高斯分布的随机变量相加所得到的随机变量也满足高斯分布：
$$p(x+y)=\mathcal{N}({\mu }_x+{\mu }_y,{\Sigma }_x+{\Sigma }_y)$$
$x+y$的均值和协方差可以通过之前提到的和运算的性质得到（$\mathbb{E}(x+y)=\mathbb{E}(x)+\mathbb{E}(y),etc$）

可以利用加权和来定义一个满足高斯分布的随机变量（或者是将一个高斯随机变量分解成两个不同的满足高斯分布的随机变量）;

$$p(x)=\alpha p_1(x)+(1-\alpha )p_2(x),1>\alpha >0,({\mu }_1,{\sigma }_1^2)\ne ({\mu }_2,{\sigma }_2^2)$$
其期望值和方差可以表示为：
$$\mathbb{E}[x]=\alpha {\mu }_1+(1-\alpha ){\mu }_2$$
$$\mathbb{V}[x]=\left[\alpha {\sigma }_1^2+(1-\alpha ){\sigma }_2^2\right]+\left(\left[\alpha {\mu }_1^2+(1-\alpha ){\mu }_2^2\right]-{\left[\alpha {\mu }_1+(1-\alpha ){\mu }_2\right]}^2\right)$$

原书p202有上面两个公式的推导过程，主要就是利用写出对应的定义式，也就是积分的形式，然后再利用积分的性质进行变换。对于方差公式的推导，可以利用方差与期望值之间的关系式。

总方差定律（law of total variance）
$${\mathbb{V}}_X[x]={\mathbb{E}}_Y[{\mathbb{V}}_X[x|y]]+{\mathbb{V}}_Y[{\mathbb{E}}_X[x|y]]$$

对一个满足高斯分布的随机变量进行线性变换，即对$X$进行线性变换$Ax$,可以得到一个均值为0，方差为$A{A}^{\top }$的高斯变量。而对一个高斯随机变量加上一个常数向量，高斯随机变量的均值会发生变化，但是方差会不发生变化。所以，对一个高斯变量进行线性变换或者是仿射变换都不会改变这个变量的分布。

假设随机变量Y为X经过线性变换之后的随机变量，即$Ax=y$,所以有：
$$\mathbb{E}[y]=\mathbb{E}[Ax]=A\mathbb{E}[x]=A\mu$$
$$\mathbb{V}[y]=\mathbb{V}[Ax]=A\mathbb{V}[x]A^{\top }=A\Sigma A^{\top }$$
所以随机变量Y可以写成：
$$p(y)=\mathbb{N}(y|A\mu ,A\Sigma A^{\top })$$

假设一个随机变量的均值是另一个随机变量经过线性变换之后得到的。假设变换矩阵$\mathbf{A}\in {\mathbb{R}}^{M\times N},M\ge N$高斯随机变量$Y$有$y\in {\mathbb{R}}^M$，其均值为$\mathbf{A}\mathbf{x}$，可以表示为：
$$p(\mathbf{y})=\mathcal{N}(y|\mathbf{A}\mathbf{x},\Sigma )$$
当我们想要求$p(\mathbf{x})$的概率分布时，可以由$X、Y$的关系得到$x=A^{-1}y$,但是当A不可逆时，这时候需要用到伪逆，所以有：
$$x=(A{A}^{\top }{)}^{-1}{A}^{\top }y$$
所以随机变量$X$的分布为：
$$p(\mathbf{x})=\mathcal{N}\left(\mathbf{x}\mid {\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\top }\mathbf{y},{\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\top }\mathbf{\Sigma }\mathbf{A}{\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}\right)$$

从多元高斯分布中取样（Sampling from Multivariate Gaussian Distributions）

取样步骤：
In the case of a multivariate Gaussian, this process consists of three stages:
first, we need a source of pseudo-random numbers that provide a uniform sample in the interval [0,1];
second, we use a non-linear transformation such as the Box-Muller transform (Devroye, 1986) to obtain a sample from a univariate Gaussian;
and third, we collate a vector of these samples to obtain a sample from a multivariate standard normal $\mathcal{N}(0,I)$

想要从多维高斯分布$\mathcal{N}(\mu ,\Sigma )$中取样，可以利用高斯随机变量线性变换的性质：
假设：$x\sim \mathcal{N}(0,I)$，所以$y=Ax+\mu ，whereA{A}^{\top }=\Sigma .$
所以$y\sim \mathcal{N}(\mu ,\Sigma )$。
其中一种选取A矩阵的方法是使用Cholesky decomposition将协方差矩阵进行拆分。（但是需要矩阵是对称且正定的）

共轭及指数族（Conjugacy and the Exponential Family）

对概率分布的目标：

指数族的优点：
provides the right balance of generality while retaining favorable computation and inference properties

伯努利分布（Bernoulli distribution）

一次伯努利试验的结果的概率：
对于一个二元随机变量$X$有 x ∈ { 0 , 1 } x\in\{0,1\} x∈{0,1},伯努利分布是由一个连续的参数$\mu \in [0,1]$控制，可以表示为$\mathrm{Ber}(\mu )$:
p ( x ∣ μ ) = μ x ( 1 − μ ) 1 − x , x ∈ { 0 , 1 } E [ x ] = μ , V [ x ] = μ ( 1 − μ ) \begin{aligned} &p(x|\mu)=\mu^x(1-\mu)^{1-x},\quad x\in\{0,1\}\\ &\mathbb E[x] = \mu,\\ &\mathbb V[x]=\mu(1-\mu)\end{aligned} ​p(x∣μ)=μx(1−μ)1−x,x∈{0,1}E[x]=μ,V[x]=μ(1−μ)​

二项式分布（Binomial Distribution）

多个伯努利实验的概率分布称为二项式分布：$\mathrm{Bin}(N,\mu )$（简单来说第一个参数就是实验次数，第二个参数就是成功概率）
$$\begin{array}{rl}p(m\mid N,\mu )& =\left(\begin{array}{l}N\\ m\end{array}\right){\mu }^m(1-\mu {)}^{N-m}\\ \mathbb{E}[m]& =N\mu \\ \mathbb{V}[m]& =N\mu (1-\mu )\end{array}$$

贝塔分布（Beta Distribution）

$\mathrm{Beta}(\alpha ,\beta )$:

$$p(\mu |\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\mu }^{\alpha -1}(1-\mu {)}^{\beta -1}$$
$$\mathbb{E}[\mu ]=\frac{\alpha }{\alpha +\beta },\mathbb{V}[\mu ]=\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$$
其中$\Gamma (\cdot )$定义为：

$$\begin{array}{rl}& \Gamma (t):={\int }_0^{\infty }{x}^{t-1}\exp (-x)dx,t>0\\ & \Gamma (t+1)=t\Gamma (t)\end{array}$$
贝塔函数在不同参数下的图像：

贝塔分布在不同参数下的一些特性：

共轭（Conjugacy）

先验分布(Prior distribution)
先验分布就是你在取得实验观测值以前对一个参数概率分布的 主观判断

比如说你在抛硬币之前，你会认为取得正面的结果的 概率为为0.5
当我们假设实验结果的分布满足均匀分布，这时候称为无信息先验(noninformative prior) 也就是说（继续上面的例子）你抛的硬币是不均匀的，所以，取得正面的概率为$0\sim 1$上的均匀分布，也就是说什么可能都有。随着实验的进行，这样的分布会根据实验结果被不断矫正。


这样的概率分布也不会排除一些极端的结果的出现的概率。

共轭先验（Conjugacy Prior）

也就是对于一个似然函数的先验分布假设成某种分布，然后利用贝叶斯公式计算出对应的后验分布，有时候得到的结果的形式是一致的。

假设一个二项式分布$x\sim \mathrm{Bin}(N,\mu )$:
$$p(x|N,\mu )=\left(\begin{array}{c}N\\ x\end{array}\right){\mu }^x(1-\mu {)}^{N-x},x=0,1,\dots ,N$$
它的参数$\mu$满足$\mu \sim \mathrm{Beta}(\alpha ,\beta )$:
$$p(\mu |\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\mu }^{\alpha -1}(1-\mu {)}^{\beta -1}$$
假设在x=h时：
$$\begin{array}{rl}p(\mu |x=h,N,\alpha ,\beta )& \propto p(x|N,\mu )p(\mu |\alpha ,\beta )\\ & \propto {\mu }^h(1-\mu {)}^{(N-h)}{\mu }^{\alpha -1}(1-\mu {)}^{\beta -1}\\ & ={\mu }^{h+\alpha -1}(1-\mu {)}^{(N-h)+\beta -1}\\ & \propto \mathrm{Beta}(h+\alpha ,N-h+\beta )\end{array}$$
所以，可以注意到这里的先验概率分布与后验概率分布的形式是一致的。

似然函数（Likelihood Function）:$f(x|\theta )$说明我们观测的数据$x$是在参数$\theta$下得来的。

由于利用贝叶斯公式计算后验概率分布的时候，需要用到边际分布概率，如果随机变量是连续的，那么就会需要使用积分，这会导致很多不必要的计算。有了先验共轭，我们就 不用计算复杂的含有积分的贝叶斯公式 便可得到后验分布。
以下是常见的似然函数的先验共轭：

充分统计量（Sufficient Statistics）

充分统计量：(一个通俗的比喻解释)
假设你辛辛苦苦收集的500个数据全都写在了一张纸上，这些数据是给你写论文用的，非常重要。突然有一天你的狗把你这张写满数据的纸吃掉了，这个时候假如你的数据满足正态分布，且你已经提前把这些数据的均值和方差记录在另外一张纸上了，那你的狗也没坏了什么大事——因为这两个充分统计量包含了这500个数据的所有有用信息。
sufficient statistics: the idea that there are statistics that will contain all available information that can be inferred from data corresponding to the distribution under consideration. In other words, sufficient statistics carry all the information needed to make inference about the population, that is, they are the statistics that are sufficient to represent the distribution.(像是原先的数据中的一个子集，而这个子集可以代表所有的数据，也就是去除了一些冗余的数据)

如果向量$\varphi (x)$包含${\theta }_0$的所有的信息，那么将$\varphi (x)$称为充分统计量

接下来是充分统计的严格定义：

也就是说一个概率密度函数可以被分解为独立于参数$\theta$的部分和虽然依赖于$\theta$但仅仅是依附于$\varphi (x)$的（？）

The more interesting case is that p(x | θ) is dependent only on φ(x) and not x itself. In this case, φ(x) is a sufficient statistic for θ.

Explain this

所以我们可以使用一部分数据去估计样品分布的参数。

指数族（Exponential Family）

对分布的三种可能的抽象：
1.已知分布类型和对应的参数
2.已知类型，需要根据数据确定此分布类型的参数值。
3.考虑这种分布的族。
指数族：

这里的内积可以是任何类型的内积。但在本节当中只考虑点积。其中的$A(\mathbf{\theta })$被称为对数分割函数（log-partition function）是一个归一化常数，能保证分布汇总成或者积分成1.
为了更好地理解指数族，我们可以将原先的定义式写成：

$$p(\mathbf{x}|\mathbf{\theta })\propto \exp ({\mathbf{\theta }}^{\top }\varphi (\mathbf{x}))$$
这里的参数$\theta$被称为特征参数或自然参数（natural parameters）

之后给出了几个例子，但是我还是没有形成深刻的理解（待补充）

指数族能够很方便地找出分布的共轭对（conjugate pairs）
对于一个随机变量$X$属于指数族，所以有：
$$p(\mathbf{x}\mid \mathbf{\theta })=h(\mathbf{x})\exp (⟨\mathbf{\theta },\mathbf{\varphi }(\mathbf{x})⟩-A(\mathbf{\theta }))$$
对于所有的指数族成员都能找到一个先验共轭
$$p(\mathbf{\theta }\mid \gamma )=h_c(\mathbf{\theta })\exp \left(⟨\left[\begin{array}{l}{\gamma }_1\\ {\gamma }_2\end{array}\right],\left[\begin{array}{c}\mathbf{\theta }\\ -A(\mathbf{\theta })\end{array}\right]⟩-A_c(\mathbf{\gamma })\right)$$
其中,$\gamma =\left[\begin{array}{c}{\gamma }_1\\ {\gamma }_2\end{array}\right]$,其维度为$\dim (\theta )+1$。充分统计量的共轭先验为$\left[\begin{array}{c}\theta \\ -A(\theta )\end{array}\right]$
这是指数族成员的共轭先验的一般形式，可以通过这个一般形式得到指数族成员的共轭先验。

变量变换和逆变换（Change of Variables/Inverse Transform）

在本节当中，我们主要讨论当一个随机变量发生变换之后的分布情况。书中主要介绍了两种方法，一种是直接使用定义，另一种是使用换元法/变数法（change-of-variable approach）

$X、Y$表示随机变量，$x、y$表示随机变量在目标空间$\mathcal{T}$中的取值。

假设两个随机变量$X、Y$满足关系$y=U(X)$,根据定义可以得到$Y=y$的概率分布：
$$P(Y=y)=P(U(X)=y)=P(X=U^{-1}(y))$$

分布函数法（Distribution Function Technique）

这里是使用累积分布函数，因为累积分布函数的对变量的偏导就是概率密度函数，所以在运算的过程中可以直接将两个随机变量之间的关系带入即可。

假设两个随机变量$Y:=U(X),X$的分布情况已知:
$$F_Y(y)=P(Y\le y)=P(U(X)\le y)=P(X\le U^{-1}(y))=F_X(U^{-1}(y))$$
$$f(y)=\frac{d}{dy}{F}_Y(y)$$

概率积分变换（probability integral transform）

需要补充

通过这个变换，我们可以先从均匀分布中抽样，然后对抽样样品做对应的变换之后得到目标分布中的抽样结果。同样也可以用于假设性检验，检查样品是否来源于某一种分布当中。

换元（Change of Variables）

$$\int f(g(x))g^{\prime }(x)dx=\int f(u)du,u=g(x)$$
假设一个随机变量$X:x\in [a,b]$和可逆函数$U$,可以得到：$Y=U(X)$,由概率密度函数的定义：
$$F_Y(y)=P(Y\le y)=P(U(X)\le y)$$
因为一个可逆函数在一个区间内严格单调，且如果原函数单调递增则反函数也会是单调递增的，所以：
$$P(U(X)\le y)=P(U^{-1}(U(X))\le U^{-1}(y))=P(X\le U^{-1}(y))={\int }_a^{U^{-1}(y)}f(x)dx$$
所以可以得到随机变量Y的累积概率函数：
$$F_Y(y)={\int }_a^{U^{-1}(y)}f(x)dx$$
因为概率密度函数可以通过累积概率函数求导得到，即：
$$f(y)=\frac{d}{dy}{F}_y(y)=\frac{d}{dy}{\int }_a^{U^{-1}(y)}f(x)dx$$
又因为：
$$\int f\left(U^{-1}(y)\right)U^{-1^{\prime }}(y)\mathrm{d}y=\int f(x)\mathrm{d}xwherex=U^{-1}(y)$$
将上面二式联立：
$$f(y)=\frac{\mathrm{d}}{\mathrm{d}y}{\int }_a^{U^{-1}(y)}{f}_x\left(U^{-1}(y)\right)U^{-1^{\prime }}(y)\mathrm{d}y$$
注意到$f_x(U^{-1}(y))$不是y的函数，所以可以将上式的积分为：
$$f(y)=f_x\left(U^{-1}(y)\right)\cdot \left(\frac{\mathrm{d}}{\mathrm{d}y}{U}^{-1}(y)\right)$$
为了让U为增函数和减函数的时候保持形式一致，可以将上式写成下面的形式：
$$f(y)=f_x\left(U^{-1}(y)\right)\cdot \left|\frac{\mathrm{d}}{\mathrm{d}y}{U}^{-1}(y)\right|$$
上面这种方法称为换元法（change-of-variable technique）
其中，$|\frac{d}{dy}{U}^{-1}(y)|$描述了经过变换U之后的体积变化。

对于多元随机变量的也是类似的，但是由于绝对值不能用于多元方程，但是我们可以使用雅可比行列式代替原先的绝对值。由于雅可比矩阵是一个偏导矩阵，且其行列式的值不为0，所以雅可比矩阵的逆是存在的。