【PRML学习笔记】1.绪论

1.绪论

1.1 多项式曲线拟合

往往可以通过多项式来拟合数据：

$$y(x,\mathbf{w})=w_0+w_{1}x+w_2{x}^2+\dots +w_M{x}^M=\sum _{j=0}^M{w}_j{x}^j$$

其中M即为多项式的阶数（order），多项式系数$\mathbf{w}=(w_0,w_1,\dots ,w_M)$往往通过最小化误差函数（error function）的方法确定（即最小二乘法），该方法就是最大似然法（Maximum Likelihood）的一种特殊情况（详见1.2.5）。误差函数往往就是真实值与拟合值之差的平方和，常称为残差平方和（residual sum of squares，SSE）：

$$E(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\left[y\left(x_n,\mathbf{w}\right)-t_n\right]}^2$$

其中系数$\frac{1}{2}$是为了之后运算方便加入的。可以看出如果数据集大小只有10，则多项式到9阶（即M=9）就可以确定出一个多项拟合函数经过所有的数据点，即误差函数为0。但这样往往也就过拟合（over-fitting）了，泛化（generalization）能力很低，在这种情况下系数都会很大。

检验模型的泛化能力可以通过使用测试集数据的均方根（Root Mean Square, RMS）来检查。均方根定义如下：

$$E_{RMS}=\sqrt{2E(\mathbf{w})/N}$$

$E(\mathbf{w})$为测试集的误差，N为测试集大小。对于同一阶的多项式拟合模型，随着训练集规模的扩大，过拟合现象会降低。但往往训练集规模都是有限的，有一种控制过拟合现象的技术叫正则化（Regularization）。就是在误差函数增加一个惩罚项：

$$E(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\left[y\left(x_n,\mathbf{w}\right)-t_n\right]}^2+\frac{\lambda }{2}{||\mathbf{w}||}^2$$

其中${||\mathbf{w}||}^2={\mathbf{w}}^T\mathbf{w}=w_0^2+w_1^2+\dots +w_M^2$，$\lambda$在0~1之间，控制了正则化项的权重，即$\lambda$越大，过拟合现象就越被抑制。这种技术在统计学中称为“收缩”（Shrinkage）。二次正则项的一种特殊情况称为“山脊回归”（Ridge Regression）。神经网络中这种方法被称为“权值衰减”（Weight Decay）。

1.2 概率论

几个最重要的概率论的法则：

• 加和规则（sum rule）：$p(X)={\sum }_{Y}p(X,Y)$
• 乘积规则（product rule）：$p(X,Y)=p(X|Y)p(Y)=p(Y|X)p(X)$
• 贝叶斯定理（Bayes’ theorem）：
  $$p(X|Y)=\frac{p(Y|X)p(X)}{p(Y)}=\frac{p(Y|X)p(X)}{{\sum }_{X}p(Y|X)p(X)}$$
• 若X，Y互相独立，则：
  $$p(X|Y)=p(X),p(Y|X)=p(Y),p(X,Y)=p(X)p(Y)$$

1.2.1 概率密度

对于连续型随机变量，有几个最基本也是最重要的定义和性质：

• 概率密度（probability density）或称概率质量函数（probability mass function, PMF）$p(x)$：
  $$p(x\in (a,b))={\int }_a^{b}p(x)\mathrm{d}x$$
• $p(x)$的几个基本性质：
  $$p(x)\ge 0,{\int }_{-\infty }^{\infty }p(x)\mathrm{d}x=1$$
• $p(x)$同样符合加和规则和乘积规则：
  $$p(x)=\int p(x,y)\mathrm{d}y,p(x,y)=p(x|y)p(y)=p(y|x)p(x)$$
• 累积分布函数（cumulative distribution function, CDF）或称概率分布函数（probability distribution function, PDF）$P(x)$：
  $$P(z)=p(X\le z)={\int }_{-\infty }^{z}p(x)\mathrm{d}x$$
• 随机变量x的概率密度函数为$p_x(x)$，对x进行一次变换$x=g(y)$，对应的随机变量y的概率密度函数为$p_y(y)$。有：
  $$p_y(y)=p_x(g(y))|g^{\prime }(y)|$$
  即如果对随机变量X进行非线性变化，其概率密度取到最大值的位置会发生改变。结合练习1.4可以对此有更好的理解。

1.2.2 期望和协方差

• 期望的数学定义如下：
  $$E[f]=\sum _{x}p(x)f(x)=\int p(x)f(x)\mathrm{d}x$$
• 条件期望：
  $$E_x[f|y]=\sum _{x}p(x|y)f(x)=\int p(x|y)f(x)\mathrm{d}x$$
• 方差的数学定义如下：
  $$\mathrm{v}\mathrm{a}\mathrm{r}[f]=E[(f(x)-E[f(x)]{)}^2]$$
• 方差的常用性质：
  $$\mathrm{v}\mathrm{a}\mathrm{r}[f]=E[f(x{)}^2]-E[f(x){]}^2$$
• 协方差的数学定义如下：
  $$\mathrm{c}\mathrm{o}\mathrm{v}[x,y]=E[(x-E[x])(y-E[y])]=E[x,y]-E[x]E[y]$$
• x和y相互独立时，二者协方差为0。

1.2.3 贝叶斯概率

观测数据集为 D = { t 1 , t 2 , ⋯   , t N } D=\{t_1,t_2,\cdots,t_N\} D={t1​,t2​,⋯,tN​}，一组参数为$\mathbf{w}$，根据贝叶斯定理有：

$$p(\mathbf{w}|D)=\frac{p(D|\mathbf{w})p(\mathbf{w})}{p(D)}$$

其中$p(\mathbf{w}|D)$称为后验概率，用于在观测到数据集$D$后估计$\mathbf{w}$的不确定性。对应地，$p(\mathbf{w})$则称先验概率。$p(D|\mathbf{w})$称似然函数（Likelihood Function），表示了在不同的参数向量$\mathbf{w}$下观测到数据集$D$的可能性。用自然语言描述即为“先验概率 正比于 似然函数 * 先验概率”。

常用的一种估计参数$\mathbf{w}$的方法为最大似然估计（Maximum Likelihood Estimation, MLE），即寻找一组参数$\mathbf{w}$使得似然函数$p(D|\mathbf{w})$取得最大值，对应于使得观测到的数据集出现的概率达到最大的参数。

1.2.4 高斯分布

• 一元变量的高斯分布定义：
  $$\mathcal{N}(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
  其中$\mu$为均值或期望，${\sigma }^2$为方差，$\beta =\frac{1}{{\sigma }^2}$，称为精度（Precision）。

• 对于一个D维的向量$\mathbf{x}$，其高斯分布的定义：
  $$\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\sigma })=\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathbf{\sigma }{|}^{1/2}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}$$
  其中$\mathbf{\mu }$为D维均值向量，$\mathbf{\sigma }$为协方差矩阵，$|\mathbf{\sigma }|$为协方差矩阵的行列式，${\mathbf{\sigma }}^{-1}$为协方差矩阵的逆矩阵。

• 对于一个一元变量x的高斯分布，已经观察到一个数据集 x = { x 1 , x 2 , ⋯   , x n } x=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}，则这个数据集的似然函数即为：
  $$p(x|\mu ,{\sigma }^2)={\Pi }_{i=1}^n\mathcal{N}(x_i|\mu ,{\sigma }^2)$$
  对似然函数取对数，之后按照最大似然法，可以求得$\mu$和${\sigma }^2$的最大似然解：
  $${\mu }_{ML}=\frac{{\sum }_{i=1}^n{x}_i}{n}$$
  $${\sigma }_{ML}^2=\frac{{\sum }_{i=1}^n(x_i-{\mu }_{ML}{)}^2}{n}$$
  可以看出方差的最大似然解是有偏差的，实际应该用样本方差$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-{\mu }_{ML}{)}^2$估计总体方差。

1.2.5 重新考察曲线拟合问题

现在假设1.1中的多项式拟合问题中，y是x的一个多项式线性映射$y(x,w)$，在一个具体的x下目标变量t服从正态分布，其均值为$y(x,w)$，即：
$$p(t|x,\mathbf{w},\beta )=\mathcal{N}(t|y(x,\mathbf{w}),{\beta }^{-1})$$

上述假设等同于假设t等于x的一个多项式拟合值加上一个服从高斯分布的“噪声”，即$t=y(x,w)+ϵ,ϵ\sim N(0,{\sigma }^2)$。

按照如上假设，对于一个训练数据集 { x , t } \{\mathbf{x},\mathbf{t}\} {x,t}，可以获知该数据集的似然函数（即联合概率）为：
$$p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}\left(t_n|y\left(x_n,\mathbf{w}\right),{\beta }^{-1}\right)$$

同样依照最大化似然函数的思路，可以获得与最小二乘法一致的参数向量$\mathbf{w}$的解，也可以估计出高斯分布精度参数$\beta$（即方差的倒数）。进而可以根据估计出的参数获得目标变量t针对不同x值的条件分布。

在此向贝叶斯方法更进一步，查看参数向量$\mathbf{w}$的后验概率分布。为了计算后验概率，先假设参数的先验概率为如下的高斯分布：
$$p(\mathbf{w}|\alpha )=\mathcal{N}(\mathbf{w}|0,{\alpha }^{-1}\mathbf{I})={\left(\frac{\alpha }{2\pi }\right)}^{\frac{M+1}{2}}{e}^{-\frac{\alpha }{2}{\mathbf{w}}^T\mathbf{w}}$$
$\alpha$为参数先验分布的精度（为一种超参数），M为多项式的最大阶数。则根据贝叶斯定理，可知后验概率正比于先验分布和似然函数的乘积：
$$p(\mathbf{w}|\mathbf{x},\mathbf{t},\alpha ,\beta )\propto p(\mathbf{t}|\mathbf{x},\mathbf{w},\beta )p(\mathbf{w}|\alpha )$$
通过最大化该后验概率来估计参数向量$\mathbf{w}$，该方法称为最大后验法（Maximum Posterior, MAP）。对该后验概率取负对数，则可以推知最大化该后验概率等同于最小化下式：
β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + α 2 w T w \frac{\beta}{2} \sum_{n=1}^{N}\left\{y\left(x_{n}, w\right)-t_{n}\right\}^{2}+\frac{\alpha}{2} w^{T} w 2β​n=1∑N​{y(xn​,w)−tn​}2+2α​wTw
在此可以看到通过MAP方法求得的参数与正则化后的最小二乘法一致，正则化参数即为$\lambda =\frac{\alpha }{\beta }$。

1.2.6 贝叶斯曲线拟合

机器学习中的问题往往是预测一个新的x的观测值对应的目标变量t的值。按照上一小节的思路，最大似然法（最大化似然函数）或最大后验法（最大化后验概率），都是对参数向量的点估计。可以将估计出的参数向量带入模型$t=y(x,w)+ϵ,ϵ\sim N(0,{\sigma }^2)$中计算对应的目标向量t。但不管哪种方法估计出的参数向量都是点估计，参数向量还是有可能取到其他值，而且会对目标向量的分布有所影响。因此真正的贝叶斯观点是在已知的训练集 { x , t } \{\mathbf{x}, \mathbf{t}\} {x,t}和要预测的新的x值的条件下，计算目标变量t的条件概率，即预测分布：
$$p(t|x,\mathbf{x},\mathbf{t})=\int p(t|x,\mathbf{w})p(\mathbf{w}|\mathbf{x},\mathbf{t})\mathrm{d}\mathbf{w}$$
该条件分布也是高斯分布，3.3节会对其做详细说明。

1.3 模型选择

根据上面对多项式拟合的讨论就可以看到解决一个问题可以有多种模型，一个模型中也可能会有多种参数。比如最简单的多项式模型，其多项式阶数就是一个很重要的参数。正则化多项式模型中的正则化系数和高斯噪声模型中的精度。往往可以通过交叉验证（Cross Validation）方法对模型进行评估。即将数据集分成两部分，一部分作为训练集训练模型，另一部分作为测试集对模型进行测试，衡量泛化能力。再通过置换训练集和测试集反复进行训练和测试。从而对模型进行比较。

但往往数据是不够的，因此有一些信息准则被提出，可以仅通过训练数据估计模型的准确度。常用的有赤池信息准则（Akaike Information Criterionn, AIC），即在使用最大似然法训练模型的过程中使用如下量为模型评分：
$$\mathrm{l}\mathrm{n}p(D|{\mathbf{w}}_{ML})-M$$
其中$p(D|{\mathbf{w}}_{ML})$即为似然函数，M为模型中可调节参数的数量（多项式回归中即为多项式的阶数加一）。AIC有个变体为贝叶斯信息准则（Bayesian Information Criterion, BIC），会在3.4节详细讨论。

1.4 维度灾难

上述多项式拟合的例子只有一个输入变量x，但实际问题往往需要根据更多的输入变量进行拟合。如有两个输入变量$x_1,x_2$，对其进行二阶多项式拟合建模就如下：
$$y(\mathbf{x},\mathbf{w})=w_0+w_1{x}_1+w_2{x}_2+w_{11}{x}_1^2+w_{12}{x}_1{x}_2+w_{21}{x}_2{x}_1+w_{22}{x}_2^2$$

对于D个输入变量，三阶多项式模型为：
$$y(\mathbf{x},\mathbf{w})=w_0+\sum _{i=1}^D{w}_i{x}_i+\sum _{i=1}^D\sum _{j=1}^D{w}_{ij}{x}_i{x}_j+\sum _{i=1}^D\sum _{j=1}^D\sum _{k=1}^D{w}_{ijk}{x}_i{x}_j{x}_k$$

在此就可以看出，随着输入变量维度D的增加，和多项式阶数M的增加，系数参数$\mathbf{w}$的长度就越来越多，而且其增长速度近似$D^M$。结合练习1.14~1.16，可以通过数学归纳法证明，对于D维输入向量，建立的M阶多项式模型，其系数参数的长度为：
$$N(D,M)=\frac{(D+M)!}{D!M!}$$

总之就是说明随着维度的增长，模型会越来越笨重，也越来越难解决。并且结合练习1.18~1.20，可以获知在高维空间中的很多几何性质与三维空间很不一样。比如高维空间中球体的体积绝大部分集中在最外面的薄球壳上，高纬高斯分布的概率密度也同样如此。这些均被统称为维度灾难（Curse of Dimensionality）。

1.5 决策论

对于分类问题，最后分类的结果往往对应某个决策。因此决策问题实际上就是统计推断问题。

1.5.1 最小化错误分类率

最常用的思路就是最小化错误分类的概率，对于二分类问题，假设x在区域$R_1$时被分在$C_1$类，在区域$R_2$时被分在$C_2$，则错误分类率为：
$$p(\text{mistake})=p(x\in R_1,C_2)+p(x\in R_2,C_1)={\int }_{R_1}p(x,C_2)\mathrm{d}x+{\int }_{R_2}p(x,C_1)\mathrm{d}x$$

最小化上式即可获得对x进行分类的分界点。对于多分类问题，则往往通过最大化正确分类率。如对于将x分类至K个类别，其正确率为：
$$p(\text{correct})=\sum _{i=1}^{K}p(x\in R_i,C_i)=\sum _{i=1}^K{\int }_{R_i}p(x,C_i)\mathrm{d}x=\sum _{i=1}^K{\int }_{R_i}p(C_i|x)p(x)\mathrm{d}x$$

由上式可以看出最大化正确率，也就等同于最大化后验概率$p(C_i|x)$，即把每个x分到后验概率最大的类别中，正确率最高。

1.5.2 最小化期望损失

实际问题中，各种错误的分类造成的影响不一样。比如将癌症患者错分为正常人，和将正常人错分为癌症患者的影响显然是不一样的。因此常常通过损失矩阵（loss matrix）来对不同的分类结果给出损失的权重。如对于癌症诊断，可以给出如下的损失矩阵实例，每行代表真实情况，每列代表预测分类情况：

	癌症	正常
癌症	0	1000
正常	1	0

即若实际为癌症患者，但分类到正常情况，损失为1000；若实际为正常人，但却分类到癌症患者，损失仅为1。当然，正常分类的话损失均为0。

据此可以构建损失函数（Loss Function），或称代价函数（Cost Function）：
$$E[L]=\sum _k\sum _j{\int }_{Rj}{L}_{kj}p(x,C_k)\mathrm{d}x=\sum _k\sum _j{\int }_{Rj}{L}_{kj}p(C_k|x)p(x)\mathrm{d}x$$

即加和每种输入和不同分类的联合概率$p(x,C_k)$与对应损失矩阵中的权重值的乘积，实际上就是损失的加权平均值，称为期望损失。最小化期望损失即获得x的分类界限。实际上也可以转化为最小化后验概率$p(C_i|x)$与对应损失权重的乘积。

1.5.3 拒绝选项

即使通过获取x对应的最大后验概率$p(C_i|x)$获取x所属类别，也有可能犯错。因此可以规定一个阈值$\theta$，当最大的后验概率也小于该值时，认为该样本较难分类，拒绝对其进行分类，留待人工查看。对应不同的阈值，被拒绝的x所在的区域$R$被称为拒绝域（Reject Region）。根据定义也比较容易推知，当$\theta =1$时，所有的样本都会被拒绝（所有的概率都不会大于1）；若有K个类别，则$\theta <\frac{1}{K}$时，则没有样本会被拒绝（一个类别的后验概率变小的时候，肯定会有其他某个类别的概率增加）。

1.5.4 推断和决策

上述方法往往都需要计算后验概率$p(C_i|x)$，则对于分类决策问题，可以分为三类方法：

1. 根据每个类别确定类条件概率$p(x|C_i)$，再根据训练数据集计算每个类别的先验概率$p(C_i)$，最后根据贝叶斯定律计算后验概率：
   $$p(C_i|x)=\frac{p(x|C_i)p(C_i)}{p(x)}$$
   该方法称为生成式模型（Generative Model）。
2. 直接推断后验概率密度$p(C_i|x)$，对x进行分类，该方法称为判别式模型（Discriminative Model）。
3. 最简单的方法还是直接训练出一个函数$f(x)$，函数的值对应分类标签。如对二分类问题，$f(x)=0$时分类为$C_1$；$f(x)=1$时分类为$C_2$。该函数称为判别函数（Discriminant Function）。

小结这三类方法，明显复杂度和计算量是从上而下依次递减的，但对应的信息量也一样依次递减了。最后一种方法学习的函数直接对应分类结果，但其中的过程也自然成了“黑盒子”。而且在数据和模型发生细微变动时，三类方法需要调整的量也就依次递增了，最后一个判别函数则需要重新学习。

1.5.5 回归问题的损失函数

其实分类问题本质上等同于回归问题，只是回归的目标值为离散的（类别）。因此对于回归问题，可以采用类似于分类问题中最小化期望损失的思路，定义一个损失函数$L(t,y(\mathbf{x}))$，计算平均损失：
$$E[L]=\int \int L(t,y(\mathbf{x}))p(\mathbf{x},t)\mathrm{d}x\mathrm{d}t$$

然后最小化该平均损失来确定模型参数。其中最常用的一个损失函数即为平方损失函数$L(t,y(\mathbf{x}))=[y(\mathbf{x})-t{]}^2$。在将损失函数定义为平方损失函数时，通过最小化平均损失，获得回归函数（Regression Function）$y(\mathbf{x})$的最优解为：
$$y(\mathbf{x})=\int tp(t|\mathbf{x})\mathrm{d}t=E[t|\mathbf{x}]$$

$E[t|\mathbf{x}]$称为条件均值，即在对应的x条件下，目标变量的均值。

平方损失函数有可能获得的结果并不准确，另一个常用的损失函数称为闵可夫斯基损失函数（Minkowski Loss Function），即$|y(\mathbf{x}-t){|}^q$。当$q=2$时，即为平方损失函数，最优解为条件均值；当$q=1$时，最优解是条件中位数；当$q\to 0$时，最优解为条件众数。

1.6 信息论

定义一个事件X的信息量即为在该事件发生时，让我们感到的“惊讶程度”。即事件发生的概率越小，信息量越大。在此定义信息熵以衡量事件的信息量。热力学中，熵表示一个系统的“混乱程度”；信息熵则在统计学角度衡量了一个事件的“不确定性”。一个事件发生的概率越小，也就越不确定，对应的信息熵也就越大。定义信息熵如下：
$$h(x)=-{\log }_{2}p(x)$$

根据定义就可以推知信息熵的几个特点：

• 信息熵位于0到正无穷：$h(x)\in [0,+\infty ]$；
• 信息熵为0表示该事件为必然事件（没有不确定性）；
• 两个独立事件同时发生的信息熵等于两个事件信息熵的和：$h(x,y)=h(x)+h(y)$

以2作为对数底时，信息熵的单位是比特（binary digit, bit）。而以自然对数$e$为底时，信息熵的单位为纳特（natural digit, nat）。

一个随机变量X的熵（Entropy），即为该随机变量在各个取值下的信息熵的期望：
$$H[X]=-\sum _{x}p(x){\log }_{2}p(x)$$

随机变量的熵则表示了在传输该该随机变量时所需要的平均信息量。注意传输该随机变量所需的信息量越大，也就表示描述该随机变量所需要的信息量越多。这往往由于我们对其了解得很少，或其自身包含的信息量很少。往往通过自然对数为底表示信息熵，即：
$$H[X]=-\sum _{i}p(x_i)\ln p(x_i)$$

可以使用拉格朗日乘数法获知，一个离散型随机变量的熵取最大值时，所有的$p(x_i)$相等。即对于离散型随机变量来说，均匀分布的熵值最大，其自身包含的信息量最少，因此描述均匀分布的随机变量所需要的信息量最大。

对于连续型随机变量X，把x分为宽度为$\Delta$的区间，则其熵可以化为：
$$H=-\sum _{i}p(x_i)\Delta \ln p(x_i)-\ln \Delta$$

在$\Delta \to 0$时，右侧第一项可以转化为：
$$\underset{\Delta \to 0}{\lim }\left\{-\sum _{i}p(x_i)\Delta \ln p(x_i)\right\}=\int p(x)\ln p(x)\mathrm{d}x$$

这被称为微分熵（Differential Entropy），是有一个具体值的。不过当$\Delta \to 0$时，熵的第二项$-\ln \Delta$则趋近于正无穷。这也就对应了一个事实：对于连续型随机变量，确定其为某个具体值的概率为0，往往关注的是其值落在某个区域内的概率。

同样通过拉格朗日乘数法，可以解得微分熵最大时，连续型随机变量的概率分布为高斯分布。也就是说对于连续型随机变量，正态分布是信息熵最大的。并且正态分布的微分熵为：
$$H[N(\mu ,{\sigma }^2)]=\frac{1}{2}\left[1+\ln (2\pi {\sigma }^2)\right]$$

可以看到微分熵与方差${\sigma }^2$正相关，这也与直觉一致：分布越离散的分布不确定性越高。

在此提出自己的一些理解。根据热力学第二定律，一个孤立系统的熵是不会减少的。对应地，对于离散型随机变量，均匀分布熵值最大；对于连续型随机变量，高斯分布熵值最大。因此可以确定这两种分布不确定性最大，但也最稳定、最常见。我想这也就是为什么古典概型、正态分布也是最常用的基本假设。当我们对一个随机变量知道的越少时，我们就对它越不确定，描述它所需的信息量也就越大，熵也就越大。

现在考虑两个随机变量X和Y，在随机变量X取x的条件下，需要确定对应y值所需的附加信息量为$-\ln p(y|x)$，因此定义条件熵如下：
$$H[y|x]=-\int \int p(y,x)\ln p(y|x)\mathrm{d}x\mathrm{d}y$$

条件熵满足如下关系：
$$H[x,y]=H[y|x]+H[x]$$

其中$H[x,y]$是联合分布$p(x,y)$的微分熵，$H[x]$是边缘分布$p(x)$的微分熵。这也符合直觉，即x和y共同发生所需要的信息量，是确定x的信息量，加上确定x条件下确定y的信息量。

1.6.1 相对熵和互信息

我们往往通过建模去估计随机变量的分布，但估计出的分布与真实分布往往存在差异。因此定义真实分布$p(x)$和近似分布$q(x)$之间的相对熵（Relative Entropy）来衡量传输该随机变量X时所需要平均附加的信息量（即二者信息量的差值）：
$$KL(p||q)=-\int p(x)\ln q(x)\mathrm{d}x-\left(-\int p(x)\ln p(x)\mathrm{d}x\right)=-\int p(x)\ln \left[\frac{q(x)}{p(x)}\right]\mathrm{d}x$$

该值也称Kullback-Leibler散度（Kullback-Leibler Divergence），简称KL散度。注意该量并不对称，即$KL(p||q)\ne KL(q||p)$。KL散度有如下性质：

• $KL(p||q)\ge 0$;
• 当且仅当$p(x)=q(x)$时，$KL(p||q)=0$

KL散度衡量了两个分布之间信息量的差值，也就衡量了两种分布的不相似程度。因此可以利用KL散度来推断两个随机变量X和Y是否独立。若X和Y独立，则有$p(x,y)=p(x)p(y)$，联合概率和概率乘积对应的KL散度为：
$$I[x,y]=KL(p(x,y)||p(x)p(y))=-\int \int p(x,y)\ln \left[\frac{p(x)p(y)}{p(x,y)}\right]\mathrm{d}x\mathrm{d}y$$

这个定义称为随机变量X和Y之间的互信息（Mutual Information）。互信息越小则说明二者独立程度越高，互信息为0时表示二者完全相互独立。互信息和条件熵满足如下关系：
$$I[x,y]=H[x]-H[x|y]=H[y]-H[y|x]$$

可以看出互信息体现出在已知y的条件下x的不确定性，比不知道y时x的不确定性的减少量；或在已知x的条件下y的不确定性，比不知道x时y的不确定性的减少量。