计算机视觉——机器学习

绪论
  计算机视觉旨在从图像中提取有用的信息。受可视数据复杂性的影响，这是一个极具挑战性的任务。广义理解的计算机视觉领域已经取得显著进步，随着人们日益增长的认识，计算机视觉的未来是令人激动的。

一、概率论
  几乎所有的计算机视觉模型可以在概率范围内解释，其形式上较为复杂，但可以阐明复杂模型之间的关系。

1.1 概率论基础
  随机变量$x$表示一个不确定的值，其可以是离散的或者连续的。离散变量的概率分布可以可视化为一个直方图，而连续变量的概率分布可以通过概率密度函数【Probability Density Function，PDF】来可视化。
  设两个随机变量$x$和$y$，若观察$x$和$y$的多个成对实例，结果中某些组合出现的较为频繁，可以用$x$和$y$的联合概率分布表示，记为$P(x,y)$。一般来说，多元变量的联合概率分布更加令人感兴趣，可以使用$Pr(\mathbf{x})$表示多维元素$\mathbf{x}=(x_1,x_2,...,x_k{)}^T$的联合概率。
  任意单变量的概率分布都可以在联合概率分布上求其他变量的和或积分得到，典型的，对于连续的二维随机变量$x$与$y$，有$$P(x)=\int P(x,y)dy$$得到$x$的边缘分布，其可以简单的解释为忽略其他变量的值。如果从变量$x$不能获得$y$的任何信息，则称两个变量独立。
  变量$x$在$y$取固定值$y^{\ast }$是$x$的相对概率的取值，是$y$取$y^{\ast }$时$x$的条件概率，记为$P(x|y=y^{\ast })$，其计算数值为$$P(x|y=y^{\ast })=\frac{P(x,y=y^{\ast })}{P(y=y^{\ast })}$$通常情况下不会显示的定义$y$，可以简写为$$P(x|y)=P(x,y)/P(y)$$当有两个以上的变量时，可以不断用条件概率分布将联合概率分布分解：$$P(w,x,y,z)=P(w|x,y,z)P(x|y,z)P(y|z)P(z)$$结合条件概率的公式，可以得到$P(x|y)$与$P(y|x)$的关系，有$$P(y|x)P(x)=P(x|y)P(y)=P(x,y)$$整理可以得到$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}$$称为贝叶斯公式。其中，$P(y|x)$称为后验概率，以代表给定$x$下$y$的概率；而$P(y)$称为先验概率，表示不考虑$x$下$y$的概率。$P(x|y)$称为似然性，而$P(x)$是证据。
  其他相关概率论术语参见概率论与数理统计。

1.2 伯努利分布
  伯努利【Bernoulli】分布是二项实验的离散分布模型，其描述的情况只可能有两种结果 x ∈ { 0 , 1 } x \in \{0, 1\} x∈{0,1}。计算机视觉中，伯努利分布可以模拟数据，如描述一个像素所取灰度值大于或小于128的概率，这被称为二值化。其有一个参数$p\in [0,1]$，定义成功，即$x=1$的概率，有$$\begin{array}{rl}& P(x=0)=1-p\\ & P(x=1)=p\end{array}$$或$$P(x;p)=p^x(1-p{)}^{1-x}$$以及$$P(x;p)=B(x;p)$$ 
  贝塔分布是由单变量$x$定义的连续分布，$x\in [0,1]$，其适合表示伯努利分布中参数$p$的不确定性。贝塔分布有两个参数$\alpha ,\beta \in [0,+\infty )$，其概率分布形式为$$P(x;\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$其中，$\Gamma (\cdot )$是伽马函数，定义为$$\Gamma (z)={\int }_0^{+\infty }{t}^{z-1}{e}^{-t}dt$$且有性质$\Gamma (z)=(z-1)!$。贝塔分布可以简写为$$P(x;\alpha ,\beta )=Beta(x;\alpha ,\beta )$$ 
1.3 分类分布
  分类分布是一个离散分布，观察多个可能结果的概率。在计算机视觉中，一个像素的亮度数值通常被量化为离散数值，可以用分类分布对其建模。观察$K$种可能结果的概率可以写为参数向量$\mathbf{p}=[p_1,p_2,...,p_k]$，且$p_i\in [0,1]$，${\sum }_{k=1}^K{p}_k=1$，其有形式$$P(x=k)=p_k$$可以简记为$$P(x;\mathbf{p})=Cat(x;\mathbf{p})$$ 
  迪利克雷【Dirichlet】分布定义在$K$个连续值$x_1,...,x_k$上，其中$x_k\in [0,1]$且$\sum x_k=1$。其适合定义分类分布中参数$p$的分布。
  在$K$维空间中，迪利克雷分布有$K$个参数$a_1,...,a_k$，每个参数取正值，参数的相对值决定了参数的期望$Ex$，参数的绝对值决定了期望两侧的集中程度，其有形式$$P(\mathbf{x};\mathbf{a})=\frac{\Gamma (\sum a_k)}{\prod \Gamma (a_k)}\prod x_k^{a_k-1}$$可以简记为$$P(\mathbf{x};\mathbf{a})=Dir(\mathbf{x};\mathbf{a})$$贝塔分布是一个二维的特殊迪利克雷分布，因为伯努利分布是二维的分类分布。

1.4 高斯分布
  高斯【Gauss】分布或称为正态分布由一个连续值$x\in R$定义。在视觉领域中，通常可以忽略像素的灰度值是量化的这个事实，并使用高斯分布对其建模。高斯分布有两个参数：均值$\mu$与方差${\sigma }^2$，$\mu$决定了峰值的位置，而${\sigma }^2$决定了分布的宽度，其定义为$$P(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp[-\frac{(x-\mu {)}^2}{2{\sigma }^2}]$$或简写为$$P(x;\mu ,{\sigma }^2)=N(x;\mu ,{\sigma }^2)$$当高斯分布由$D$维变量$\mathbf{x}$决定时，就形成了多元高斯分布，其参数为均值$\mathbf{\mu }$与协方差$\mathbf{\Sigma }$，其中${\mathbf{\mu }}_{D\times 1}$描述了分布的均值，而${\mathbf{\Sigma }}_{D\times D}$是正定矩阵，其形式为$$P(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}exp[-(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })/2]$$或简写为$$P(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })$$ 
  正态逆伽马分布由均值$\mu$与方差$\sigma$定义，用于定义高斯分布的参数的分布，具有四个参数$\alpha ,\beta ,\gamma ,\delta$，其表达式为$$P(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )=\frac{\sqrt{\gamma }}{\sigma \sqrt{2\pi }}\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}(\frac{1}{{\sigma }^2}{)}^{\alpha +1}exp[-\frac{2\beta +\gamma (\delta -\mu {)}^2}{2{\sigma }^2}]$$或简写为$$P(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )=NIG(\mu ,\sigma ;\alpha ,\beta ,\gamma ,\delta )$$相似的，正态逆维希特分布用于描述多元高斯分布的参数分布。

1.5 共轭性
  贝塔分布可以表征伯努利分布中参数的概率，相似的，迪利克雷分布表征分类分布中参数的概率，同样的类比关系还有正太逆伽马分布与高斯分布、正态逆维希特分布与多元高斯分布之间。这种关系称前一个分布是后一个的共轭，当一个分布与其共轭分布取积时，会正比于一个新的分布，且与该分布的共轭分布形式相同，例如$$B(x;p)Beta(p;\alpha ,\beta )=k(x,\alpha ,\beta )Beta(p;{\alpha }^{\ast },{\beta }^{\ast })$$这是易于证明的：$$\begin{array}{rl}B(x;p)Beta(p;\alpha ,\beta )& =p^x(1-p{)}^{1-x}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{\alpha -1}(1-p{)}^{\beta -1}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{x+\alpha -1}(1-p{)}^{1-x+\beta -1}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\frac{\Gamma (x+\alpha )\Gamma (1-x+\beta )}{\Gamma (x+\alpha +1-x+\beta )}Beta(x+\alpha ,1-x+\beta )\\ & =k(x,\alpha ,\beta )Beta({\alpha }^{\ast },{\beta }^{\ast })\end{array}$$其中$$k=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\frac{\Gamma (x+\alpha )\Gamma (1-x+\beta )}{\Gamma (x+\alpha +1-x+\beta )}$$在拟合分布和评估模型时常用到分布的积，而共轭关系提供了积的封闭性。

---

二、拟合概率模型
  对于数据的拟合概率模型，由于拟合时需要学习模型的参数，因此这一过程称为学习，而讨论新数据在模型下的概率分布，称为评估预测分布。

2.1 最大似然法
  最大似然法用来求数据 { x } = { x 1 , . . . , x I } \{\bm x\} = \{\bm x_1, ..., \bm x_I\} {x}={x1​,...,xI​}最有可能的参数集合$\hat{\mathbf{\theta }}$。对于数据点${\mathbf{x}}_i$，其似然函数$P({\mathbf{x}}_i|\mathbf{\theta })$只需要估算${\mathbf{x}}_i$的概率密度函数；而对于数据的似然函数$P(\mathbf{x}|\mathbf{\theta })$，通常假设数据点是从分布中独立抽样，那么数据的似然函数是数据点的独立似然的积。那么参数的最大似然估计是$$\begin{array}{rl}\hat{\mathbf{\theta }}& =argma{x}_{\mathbf{\theta }}P(\mathbf{x}|\mathbf{\theta })\\ & =argma{x}_{\mathbf{\theta }}\prod P({\mathbf{x}}_i|\theta )\end{array}$$为了估算新数据点${\mathbf{x}}^{\ast }$的概率分布，简单估算$P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})$即可。

  考虑一个高斯分布$N(1,1)$产生的$I$个拟合标量数据 { x } = { x 1 , . . . , x I } \{x\} = \{x_1, ..., x_I\} {x}={x1​,...,xI​}重新拟合参数的例子，其似然函数通过高斯概率密度函数的积得到：$$\begin{array}{rl}P(x|\mu ,{\sigma }^2)& =\prod P(x_i|\mu ,{\sigma }^2)\\ & =\prod N(x_i;\mu ,{\sigma }^2)\\ & =\frac{1}{(\sqrt{2\pi {\sigma }^2}{)}^I}exp[-\sum \frac{(x_i-\mu {)}^2}{2{\sigma }^2}]\end{array}$$原则上可以对上式求导赋零使其最大化，但实际上作为结果的等式会很杂乱，但引入单调的似然对数$L$可以使得函数最值位置不变的情况下解耦各数据点的贡献。那么有$$\begin{array}{rl}\hat{\mu }& =argma{x}_{\mu }\sum logN(x_i;\mu ,{\sigma }^2)\\ & =argma{x}_{\mu }-\frac{1}{2}[log(2\pi )+Ilog({\sigma }^2)+\sum \frac{(x_i-\mu {)}^2}{{\sigma }^2}]\end{array}$$取最值只需令$$\partial L/\partial \mu =\sum \frac{x_i-\mu }{{\sigma }^2}=0$$整理可以得到均值的表达式$$\hat{\mu }=\sum x_i/I$$类似的，方差可以表示为$${\hat{\sigma }}^2=\sum (x_i-\hat{\mu }{)}^2/I$$此外，很多文献通过最小二乘法讨论拟合高斯分布的均值，事实上，高斯分布的均值的最大似然估计可以写成$$\begin{array}{rl}\hat{\mu }& =argma{x}_{\mu }-\frac{1}{2}[log(2\pi )+Ilog({\sigma }^2)+\sum \frac{(x_i-\mu {)}^2}{{\sigma }^2}]\\ & =argma{x}_{\mu }-\frac{1}{2}\sum (x_i-\mu {)}^2\\ & =argmi{n}_{\mu }\sum (x_i-\mu {)}^2\end{array}$$即最小二乘拟合和最大似然拟合一个高斯分布是等价的。

2.2 最大后验法
  最大后验法引入参数$\mathbf{\theta }$的先验信息，即先验也许会对可能的参数值提供一些信息，例如在时间序列中，前一时刻的参数值可能会提供后一时刻的参数可能值的信息，而这个信息可以从先验分布中得到。
  最大后验估计是最大化参数的后验概率$P(\mathbf{\theta }|\mathbf{x})$：$$\begin{array}{rl}\hat{\mathbf{\theta }}& =argma{x}_{\mathbf{\theta }}P(\mathbf{\theta }|\mathbf{x})\\ & =argma{x}_{\mathbf{\theta }}\frac{P(\mathbf{x}|\mathbf{\theta })P(\mathbf{\theta })}{P(\mathbf{x})}\\ & =argma{x}_{\mathbf{\theta }}\frac{[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })}{P(\mathbf{x})}\end{array}$$实际上，可以忽略对于参数而言是常数的$P(\mathbf{x})$，因为其不会影响最大值的位置，得到$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })$$其与最大似然估计相比，会发现除了先验部分外都相同，这是因为最大似然估计是最大后验估计在先验信息位置情况下的一个特例。
  为了估算新数据点${\mathbf{x}}^{\ast }$的概率分布，简单估算$P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})$即可。

  依然考虑高斯分布$N(1,1)$产生的$I$个拟合标量数据 { x } = { x 1 , . . . , x I } \{x\} = \{x_1, ..., x_I\} {x}={x1​,...,xI​}重新拟合参数的例子，代价函数为$$\begin{array}{rl}\hat{\mu },{\hat{\sigma }}^2& =argma{x}_{\mu ,{\sigma }^2}[\prod P(x_i|\mu ,{\sigma }^2)]P(\mu ,{\sigma }^2)\\ & =argma{x}_{\mu ,{\sigma }^2}[\prod N(x_i;\mu ,\sigma )]NIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )\end{array}$$其与高斯分布共轭，且与最大似然估计一样，很容易最大化上述式的对数：$$\hat{\mu },{\hat{\sigma }}^2=argma{x}_{\mu ,{\sigma }^2}[\sum logN(x_i;\mu ,{\sigma }^2)+logNIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )]$$偏微分赋零，可以得到$$\partial L/\partial \mu =\frac{\sum (x_i-\mu )+\gamma (\delta -\mu )}{{\sigma }^2}$$可得$$\hat{\mu }=\frac{\sum x_i+\gamma \delta }{I+\gamma }$$类似的，方差可以表示为$${\hat{\sigma }}^2=\frac{\sum (x_i-\hat{\mu }{)}^2+2\beta +\gamma (\delta -\hat{\mu }{)}^2}{I+3+2\alpha }$$上述式给出了一些关于最大后验估计结果的思考，对于均值的估计，如果有大量的数据，那么$\sum x_i$起主要作用，$\hat{\mu }$与数据的均值更加接近；而相反的，如果根本没有数据，那么就完全根据先验值决定；而数据适中时，$\hat{\mu }$由数据预测与先验预测加权决定。

2.3 贝叶斯方法
  贝叶斯方法不试图估计参数$\mathbf{\theta }$的确定值，而是在数据上估计参数$\mathbf{\theta }$的概率分布$$P(\mathbf{\theta })=\frac{[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })}{P(\mathbf{x})}$$因为没有估算出参数的确定值，因此对于新数据点${\mathbf{x}}^{\ast }$的概率分布估算更加困难，需要计算$$P({\mathbf{x}}^{\ast }|\mathbf{x})=\int P({\mathbf{x}}^{\ast }|\mathbf{\theta })P(\mathbf{\theta }|\mathbf{x})d\mathbf{\theta }$$其中$P({\mathbf{x}}^{\ast }|\mathbf{\theta })$是给定值$\mathbf{\theta }$的预测，而积分是$\mathbf{\theta }$的不同参数值在其概率下的加权和。
  如果某个分布的最大似然估计和最大后验估计的参数均为$\hat{\mathbf{\theta }}$，那么可以将贝叶斯方法与其统一起来，形成中心在$\hat{\mathbf{\theta }}$的贝塔函数，令$\delta (z)$是冲激函数，那么有$$\begin{array}{rl}P({\mathbf{x}}^{\ast }|\mathbf{x})& =\int P({\mathbf{x}}^{\ast }|\mathbf{\theta })\delta (\hat{\mathbf{\theta }})d\mathbf{\theta }\\ & =P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})\end{array}$$这使得估算数据在估计参数模型下的概率有了统一的形式。

  依然考虑高斯分布$N(1,1)$产生的$I$个拟合标量数据 { x } = { x 1 , . . . , x I } \{x\} = \{x_1, ..., x_I\} {x}={x1​,...,xI​}重新拟合参数的例子，根据贝叶斯公式，有$$\begin{array}{rl}P(\mu ,{\sigma }^2|x)& =\frac{[\prod P(x_i|\mu ,{\sigma }^2)]P(\mu ,{\sigma }^2)}{P(x)}\\ & =\frac{[\prod N(x_i;\mu ,{\sigma }^2)NIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )]}{P(x)}\\ & =\frac{kNIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })}{P(x)}\end{array}$$其与高斯分布共轭，$k$是一个相关的常数，要注意到的是，$P(\mu ,{\sigma }^2|x)$是关于$\mu ,{\sigma }^2$的函数且积分为1，而$NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })$也是关于$\mu ,{\sigma }^2$的函数且积分也为1，那么常量$k$与$P(x)$必然有$k/P(x)=1$，即$$P(\mu ,{\sigma }^2|x)=NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })$$这也是共轭先验的优势：保证关于参数的后验分布是一个封闭的表达式。
  再来看对于新数据$x^{\ast }$的密度估计，有$$\begin{array}{rl}P(x^{\ast }|x)& =\iint P(x^{\ast }|\mu ,{\sigma }^2)P(\mu ,{\sigma }^2|x)d\mu d\sigma \\ & =\iint N(x^{\ast };\mu ,{\sigma }^2)NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =\iint k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })\iint NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })\end{array}$$这又体现了共轭的优势：积分可计算，且保持密度预测的封闭表达式。

---

三、视觉学习
  在视觉问题中，视觉数据$\mathbf{x}$用于推测全局状态$\mathbf{y}$，而$\mathbf{y}$可能是连续的，例如身体模型的三维姿态，其推理过程称为回归；或者离散的，例如物体的存在与否，其推理过程称为分类。
  遗憾的是，$\mathbf{x}$可能兼容多个全局状态$\mathbf{y}$，一方面，视觉的测量过程受噪声影响；另一方面，视觉数据本身具有多义性：例如一块煤在强光下和一张白纸在弱光下产生的亮度可能是一样的。
  为了解决视觉问题，需要三个要素：
  -模型，指定$\mathbf{x}$与$\mathbf{y}$之间可能的关系，并通过模型的参数$\mathbf{\theta }$来确定这一关系；
  -学习，利用成对的训练样本$(\mathbf{x},\mathbf{y})$来拟合参数$\mathbf{\theta }$，在这些样本中，需要同时知道测量值与基本状态；
  -推理，根据新的观测值$\mathbf{x}$，可以利用模型返回全局状态的后验概率$P(\mathbf{y}|\mathbf{x},\mathbf{\theta })$。

3.1 模型
  视觉问题的首要要素是模型。对于涉及数据$\mathbf{x}$和全局状态$\mathbf{y}$的模型都属于以下两种之一：
  -建立在数据上的全局状态可能性模型$P(\mathbf{y}|\mathbf{x})$，称为判别模型；
  -建立在全局状态上的数据可能性模型$P(\mathbf{x}|\mathbf{y})$，称为生成模型。

3.1.1 判别模型
  在判别模型中，为了建立模型$P(\mathbf{y}|\mathbf{x})$，需要选择在$\mathbf{y}$上分布的合适形式$P(\mathbf{y})$，并将分布的参数$\mathbf{\theta }$作为数据$\mathbf{x}$的参数。例如在连续的全局状态中，可以建立服从于高斯分布$N$的全局状态$P(\mathbf{y})$，并将均值$\mathbf{\mu }$作为数据$\mathbf{x}$的函数。
  学习的目标是利用成对的训练数据$(\mathbf{x},\mathbf{y})$拟合参数$\mathbf{\theta }$，这可以通过最大似然估计、最大后验估计或贝叶斯估计得到。
  推理的目标是对新的观测量$\mathbf{x}$求出可能的全局状态$\mathbf{y}$的一个分布，一个简单的方法就是使用已经为$P(\mathbf{y}|\mathbf{x})$构造的表达式进行估算。

3.1.2 生成模型
  在生成模型中，需要选择数据分布$P(\mathbf{x})$的形式，并将分布参数设为全局状态$\mathbf{y}$的一个函数，例如在离散的多值数据中，利用分类分布可以将参数向量$\mathbf{p}$设为全局状态$\mathbf{y}$的一个函数。
  学习的目标是利用成对的训练数据$(\mathbf{x},\mathbf{y})$拟合参数$\mathbf{\theta }$。
  推理的目标是计算后验分布$P(\mathbf{y}|\mathbf{x})$，为此，指定一个关于全局状态的先验$P(\mathbf{y})$并利用贝叶斯公式来获得$P(\mathbf{y}|\mathbf{x})$：$$P(\mathbf{y}|\mathbf{x})=\frac{P(\mathbf{x}|\mathbf{y})P(\mathbf{y})}{\int P(\mathbf{x}|\mathbf{y})P(\mathbf{y})d\mathbf{y}}$$

3.2 回归问题
  考虑一个简单的情形：构造一个一元连续测量值$x$并利用它来预测一元连续状态$y$，例如根据路上汽车的轨迹所包含像素的数目预测汽车的尺寸。

3.3.1 回归问题的判别模型
  在判别模型中，定义全局状态$y$的概率分布，并且设其参数与数据$x$有关，可以选择高斯分布，设置方差${\sigma }^2$并设均值$\mu =w_0+w_{1}x$，其中$\mathbf{\theta }=(w_0,w_1,{\sigma }^2)$，那么有$$P(y|x,\mathbf{\theta })=N(y;w_0+w_{1}x,{\sigma }^2)$$由于均值与数据呈线性关系，该模型也称为线性回归。
  学习算法从成对的训练数据$(x,y)$中估计模型参数$\mathbf{\theta }$，例如在最大后验估计中，有$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}[\prod P(y|x,\mathbf{\theta })]P(\mathbf{\theta })$$其中，假设$I$个训练数据互相独立，且有合适的先验$P(\mathbf{\theta })$。
  推理算法根据视觉数据$x$返回后验分布$P(y|x,\mathbf{\theta })$，只需要将数据$x$带入到学习到参数$\hat{\mathbf{\theta }}=({\hat{w}}_0,{\hat{w}}_1,{\hat{\sigma }}^2)$计算式中，即可得到后验分布$$P(y|x,\mathbf{\theta })=N(y;{\hat{w}}_0+{\hat{w}}_{1}x,{\hat{\sigma }}^2)$$
3.2.2 回归问题的生成模型
  在生成模型中，需要选择关于数据$x$的概率分布并使其参数视全局状态$y$而定。将数据建模为方差为${\sigma }^2$，均值为$\mu =w_0+w_{1}y$的高斯分布，那么有$$P(x|y,\mathbf{\theta })=N(x;w_0+w_{1}y,{\sigma }^2)$$以及关于全局状态的先验$P(y)$，其也可能是高斯分布，即$$P(y)=N(y;{\mu }_y,{\sigma }_y^2)$$  学习算法利用成对的训练数据$(x,y)$拟合参数$\mathbf{\theta }$，并用全局状态$y$拟合参数${\mathbf{\theta }}_y=({\mu }_y,{\sigma }_y^2)$。
  推理算法根据视觉数据$x$利用贝叶斯公式返回后验分布$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}=\frac{P(x,y)}{P(x)}$$

3.3 分类问题
  考虑一个简单的分类问题：考虑观测值$x$是一元连续的，但全局状态$y$是二值离散的，例如根据观测图像的红色通道来判定一个像素是属于皮肤区域还是非皮肤区域。

3.3.1 分类问题的判别模型
  在判别模型中。需要定义全局状态 y ∈ { 0 , 1 } y \in \{0, 1\} y∈{0,1}的一个概率分布，可以使用伯努利分布，并且参数$p$依数据$x$而定。由于要保证约束$p\in [0,1]$，如果建立线性函数$p=w_0+w_{1}x$，该函数的返回值值域为$(-\infty ,+\infty )$，需要定义一个函数将返回值的值域映射到$(0,1)$，定义$$P(y|x)=B(y;sigmoid(p))=B(y;\frac{1}{1+exp[-w_0-w_{1}x]})$$其中，$sigmoid(\cdot )$函数称为逻辑S型函数【Sigmoid】，该模型也称为逻辑回归。
  在学习中，使用成对训练数据$(x,y)$拟合参数$\mathbf{\theta }=(w_0,w_1)$，而在推理中，只需将观测数据值$x$代入$sigmoid(\hat{p}(x))$来获取状态的后验分布$P(y|x)$。

3.3.2 分类问题的生成模型
  在生成模型中，选择数据$x$的一个概率分布，使其参数依全局状态$y$而定。可以选择高斯分布，使得$$P(x|y,\mathbf{\theta })=N(x;\mu (y),\sigma (y))$$在实际情况下， y ∈ { 0 , 1 } y \in \{0, 1\} y∈{0,1}，因此$$\begin{gathered} P(x|y=0)=N(x;{\mu }_0,{\sigma }_0^2) \\ P(x|y=1)=N(x;{\mu }_1,{\sigma }_1^2) \end{gathered}$$为每种类别数据的密度进行了建模，也称为类条件密度函数。同时，也需要定义全局状态的先验分布$$P(y)=B(y;p)$$其中$p$是全局状态$y=1$时的先验概率。
  在学习时，使用训练数据对$(x,y)$拟合参数$\mathbf{\theta }=({\mu }_0,{\mu }_1,{\sigma }_0^2,{\sigma }_1^2)$，通过训练全局状态$y$学习先验参数$p$；而推理算法利用数据$x$在贝叶斯公式下返回全局状态$y$的后验分布$$P(y|x)=\frac{P(x|y)P(y)}{P(x|y=0)P(y=0)+P(x|y=1)P(y=1)}$$

3.4 应用：背景差分
  背景差分技术是很多视觉系统中常见的第一步，因为它可以快速的确定图像中感兴趣的区域。
  背景差分的目标是推理图像中某个元素是否是背景$y=0$或者前景目标有遮挡$y=1$，其依据是像素数据$\mathbf{x}$的RGB值。考虑使用生成分类模型解决该问题。
  训练数据$\mathbf{x}$通常包含大量的所有像素都属于背景的空场景，然而前景目标外观多变的训练样本并不典型。一般将背景的类条件分布建模为高斯分布$$P(\mathbf{x}|w=0)=N(\mathbf{x};{\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$$而将前景类别建模为均匀分布$$P(\mathbf{x}|w=1)=\{\begin{array}{rlrl}& 1/255^3& & ,0<x_R,x_G,x_B<255\\ & 0& & ,others\end{array}$$并将先验建模为伯努利变量$$P(y)=B(y;p)$$并进行学习与推理。
  典型的，该方法经常存在一个问题：阴影经常误分类为前景，一个简单的补救方法是仅依靠色相和饱和度而忽略亮度来分类像素。
  在一些情况下，可能需要更复杂的分布来描述背景。例如对于室外场景，树随风摇摆，一部分叶子间歇地在其他叶子前面飘动，可能造成像素的双峰分布，而单峰的高斯分布无法很好的描述该数据，造成背景差分的效果很差。

---

四、复杂数据密度建模
  实际上，假设所有复杂的视觉数据都可以用高斯分布来表示是不太现实的，需要根据基础概率密度函数利用隐变量来构造复杂函数。

4.1 高斯分布模型
  考虑分类问题的生成模型，对数据$\mathbf{x}$的概率进行建模，并利用全局状态$y$进行参数化，利用多元高斯分布描述数据$$P(\mathbf{x}|y)=N(\mathbf{x};{\mathbf{\mu }}_y,{\mathbf{\Sigma }}_y)$$其描述了以全局状态$y$为条件的数据$\mathbf{x}$的密度。
  学习是从训练数据对$(\mathbf{x},y)$中估计参数$\mathbf{\theta }$，例如利用最大似然方法$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}\prod P(x|\mathbf{\theta })$$  推理是利用新的数据$\mathbf{x}$为之分配一个类$y$，为了实现这个目的，定义一个全局状态$P(y)=B(y;p)$的一个先验并应用贝叶斯公式$$P(y|\mathbf{x})=\frac{P(\mathbf{x}|y)P(y)}{P(\mathbf{x})}$$  然而，这种分类器的成功取决于利用高斯分布拟合数据，但是由于以下诸多原因，拟合的效果可能是较差的：
  -高斯分布是单峰的，而复杂的视觉数据无法利用单峰概率密度函数很好的表示；
  -高斯分布不是健壮的，单个异常样本会显著影响均值和方差的估计；
  -高斯分布的参数过多，对于高维的数据，整个协方差矩阵包含过多的参数，而训练数据过少的情况下，这些参数甚至无法唯一的确定。
为了解决上述问题，分别引入高斯混合模型、学生氏分布与子空间模型，并引入每个每个观测数据点${\mathbf{x}}_i$所对应的隐变量${\mathbf{h}}_i$，使最终的概率密度函数特性更加复杂。

4.2 隐变量
  为了对关于变量$\mathbf{x}$的复杂概率密度函数建模，将引入隐变量$\mathbf{h}$，其可能是离散的或连续的。
  为了充分利用隐变量，将最终密度$P(\mathbf{x})$描述为$\mathbf{x}$与$\mathbf{h}$的联合概率密度$P(\mathbf{w},\mathbf{h})$的边缘分布$$P(\mathbf{x})=\int P(\mathbf{x},\mathbf{h})d\mathbf{h}$$对于联合概率密度$P(\mathbf{x},\mathbf{h})$，可以选择对$\mathbf{h}$积分时相对简单，而且能够生成一系列表达性非独立的分布$P(\mathbf{x})$的模型。
  无论选取何种联合分布，都应该有一些参数$\mathbf{\theta }$，故可以表达成$$P(\mathbf{x}|\mathbf{\theta })=\int P(\mathbf{x},\mathbf{h}|\mathbf{\theta })d\mathbf{h}$$当使用最大似然估计拟合模型时，不会涉及隐变量，也可以使用暴力搜索非线性优化技术，在此不展开详述。还有一种方法：最大期望算法，其可以直接优化含隐变量的参数，形如$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}\sum log[\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i]$$
4.3 期望最大化
  期望最大化【Expectation Maximization，EM】算法也称为最大期望算法，其目标是提供足够的信息，来利用该技术拟合模型。

4.3.1 似然函数的下界
  EM算法用来求模型参数$\mathbf{\theta }$的最大似然或最大后验估计，其中数据$\mathbf{x}$的似然可以表示成$$P(\mathbf{x}|\mathbf{\theta })=\sum _{\mathbf{k}}P(\mathbf{x},\mathbf{h}=\mathbf{k}|\mathbf{\theta })$$或$$P(\mathbf{x}|\mathbf{\theta })=\int P(\mathbf{x},\mathbf{h}|\mathbf{\theta })d\mathbf{h}$$即似然函数是数据和隐变量的联合概率分布的边缘概率。以连续隐变量为例，取对数似然，形如$$lnL(\mathbf{x}|\mathbf{\theta })=\sum _{i=1}^{I}log\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i$$EM算法依赖于对数似然函数的下界函数$B(\mathbf{\theta })=inflnL(\mathbf{x}|\mathbf{\theta })$，取$$B(q_i({\mathbf{h}}_i),\mathbf{\theta })=\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i$$根据琴生【Jensen】不等式，对于凹的对数函数，有$$E[log(y)]\le log(E[y])$$那么有$$\begin{array}{rl}B(q_i({\mathbf{h}}_i),\mathbf{\theta })& =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & \le \sum _{i=1}^{I}log\int q_i({\mathbf{h}}_i)\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}log\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i\\ & =lnL(\mathbf{x}|\mathbf{\theta })\end{array}$$可以看出，除了参数$\mathbf{\theta }$以外，下界$B(q_i({\mathbf{h}}_i),\mathbf{\theta })$还与一组关于隐变量$\mathbf{h}$的概率分布$q(\mathbf{h})$有关。当改变这些概率分布时，$B$的值也会改变，但始终不大于对数似然函数。
  EM算法同时改变参数$\mathbf{\theta }$与分布$q(\mathbf{h})$来提高下界$B$，其交替进行一下两种操作：
  -更新隐变量的概率分布$q(\mathbf{h})$来提高下界$B$，称为期望步；
  -更新参数$\mathbf{\theta }$来提高下界$B$，称为最大化步。

4.3.2 E步
  在E步，更新关于分布$q_i({\mathbf{h}}_i)$的界$B(q_i({\mathbf{h}}_i),\mathbf{\theta })$，其表达式可以写成$$\begin{array}{rl}B(q_i({\mathbf{h}}_i),\mathbf{\theta })& =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })P({\mathbf{x}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)[logP({\mathbf{x}}_i|\mathbf{\theta })-log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}]d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i|\mathbf{\theta })d{\mathbf{h}}_i-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}logP({\mathbf{x}}_i|\mathbf{\theta })\int q_i({\mathbf{h}}_i)d{\mathbf{h}}_i-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}logP({\mathbf{x}}_i|\mathbf{\theta })-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\end{array}$$其表达式的第一项是关于分布$q_i({\mathbf{h}}_i)$的定值，而为了对$q_i({\mathbf{h}}_i)$优化界，只需求$$\begin{array}{rl}\hat{q}({\mathbf{h}}_i)& =argma{x}_{q_i({\mathbf{h}}_i)}[-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i]\\ & =argmi{n}_{q_i({\mathbf{h}}_i)}[-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i]\end{array}$$该式称为分布$q_i({\mathbf{h}}_i)$与$P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })$之间的KL【Kullback-Leibler】散度，是概率分布之间的距离的度量。根据$log(x)\le x-1$可以证明，总是有$$\begin{array}{rl}\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i& \le \int q_i({\mathbf{h}}_i)(\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}-1)d{\mathbf{h}}_i\\ & =\int P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })d{\mathbf{h}}_i-\int q_i({\mathbf{h}}_i)d{\mathbf{h}}_i\\ & =0\end{array}$$这表明当KL散度为0时，$B$取得最大值，有$$q_i({\mathbf{h}}_i)=P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })=\frac{P({\mathbf{x}}_i|{\mathbf{h}}_i,\mathbf{\theta })P({\mathbf{h}}_i)}{P({\mathbf{x}}_i)}$$即期望步是利用贝叶斯公式来计算每个隐变量的后验分布。

4.3.3 M步
  在M步，对关于参数$\mathbf{\theta }$的边界进行最大化，使得$$\begin{array}{rl}\mathbf{\theta }& =argma{x}_{\mathbf{\theta }}B(q_i({\mathbf{h}}_i),\mathbf{\theta })\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })-q_i({\mathbf{h}}_i)log{q}_i({\mathbf{h}}_i)d{\mathbf{h}}_i\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i\end{array}$$其中，省略的第二项与参数无关，不影响最大化的结果。

4.4 高斯混合模型
  高斯混合模型【Gaussian Mixture Model，GMM】是适合EM算法学习的一个原型。数据描述为$K$个高斯分布的加权和$$P(\mathbf{x}|\mathbf{\theta })=\sum _{k=1}^K{\lambda }_{k}N(\mathbf{x};{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$$其中$\lambda$是正数权重，且${\sum }_{k=1}^K\lambda =1$。高斯混合模型将简单成分分布联合起来描述多峰概率密度。
  为了能从训练数据$\mathbf{x}$中学习参数$\mathbf{\theta }=(\mathbf{\mu },\mathbf{\Sigma },\lambda )$，可以利用最简单的最大似然方法，但会无法得到简单闭式解；或非线性优化方法，但由于需要保证参数的约束，这也十分复杂。更简单的，可以将观测数据的密度函数作为边缘概率，并使用EM算法学习其参数。
  GMM可以看作观测到的数据$\mathbf{x}$和一个取值为 h ∈ { 1 , . . . , K } h \in \{1, ..., K\} h∈{1,...,K}的隐变量$\mathbf{h}$之间的联合分布的边缘概率，定义$$\begin{array}{rl}P(\mathbf{x}|h,\mathbf{\theta })& =N(x;{\mathbf{\mu }}_h,{\mathbf{\Sigma }}_h)\\ P(h|\mathbf{\theta })& =Cat(h;\mathbf{\lambda })\end{array}$$其中，$\mathbf{\lambda }$是分类分布的参数，那么数据的原始密度为$$\begin{array}{rl}P(\mathbf{x}|\mathbf{\theta })& =\sum _{k=1}^{K}P(\mathbf{x},h=k|\mathbf{\theta })\\ & =\sum _{k=1}^{K}P(\mathbf{x}|h=k,\mathbf{\theta })P(h=k|\mathbf{\theta })\\ & =\sum _{k=1}^K{\lambda }_{k}N(\mathbf{x};{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)\end{array}$$其可以解释为从混合分布$P(\mathbf{x},h)$中采样并丢弃了隐变量$h$，只留下数据样本$\mathbf{x}$。其中，隐变量$h$有一个清晰的解释，其决定了哪个正态分布对应于观测数据点$\mathbf{x}$。
  为了从训练数据 { x i } i = 1 I \{\bm x_i\}_{i=1}^I {xi​}i=1I​中学习GMM参数 θ = { λ k , μ k , Σ k } k = 1 K \bm\theta = \{\lambda_k, \bm\mu_k, \bm\Sigma_k\}_{k=1}^K θ={λk​,μk​,Σk​}k=1K​，可以使用EM算法。

4.5 学生氏分布
  使用高斯分布描述视觉数据有一个严重问题是不健壮：位于偏离期望的样本的概率密度下降的非常快，导致奇异点会严重影响估计的参数，因为由于奇异点的存在，要使得高斯分布的峰值向奇异点偏移，使得奇异点位置有恰当的概率密度。学生氏【Student’s t】分布，简称t分布提供了更加健壮的分布，其属于一种统计分布，数学定义是不太直观的：$$\begin{array}{rl}P(x)& =Stud(x;\mu ,{\sigma }^2,\nu )\\ & =\frac{\Gamma ((\nu +1)/2)}{\sqrt{\nu \pi {\sigma }^2}\Gamma (\nu /2)}(1+\frac{(x-\mu {)}^2}{\nu {\sigma }^2}{)}^{-\frac{\nu +1}{2}}\end{array}$$其中，$\mu$为均值，${\sigma }^2$为缩放参数，$\nu$为离散程度。当$\nu \to +\infty$时，该分布趋近于高斯分布；当$\nu \to 0$时，偏离期望的样本的概率密度远远高于高斯分布。对于$D$维空间的t分布，其概率密度函数更加复杂：$$\begin{array}{rl}P(\mathbf{x})& =Stud(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma },\nu )\\ & =\frac{\Gamma ((\nu +D)/2)}{(\nu \pi {)}^{|D/2|}|\mathbf{\Sigma }{|}^{1/2}\Gamma (\nu /2)}(1+\frac{(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}{\nu }{)}^{-\frac{\nu +D}{2}}\end{array}$$  首先介绍伽马分布，其定义在正实轴上，有参数$\alpha ,\beta$，其概率密度函数为$$Gam(x;\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\gamma (\alpha )}exp[-\beta x]x^{\alpha -1}$$再令$$\begin{array}{rl}P(\mathbf{x}|h)& =N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma }/h)\\ P(h)& =Gam(h;\nu /2,\nu /2)\end{array}$$那么有$$\begin{array}{rl}P(\mathbf{x})& =\int P(\mathbf{x},h)dh\\ & =\int P(\mathbf{x}|h)P(h)dh\\ & =N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma }/h)Gam(h;\nu /2,\nu /2)dh\\ & =Stud(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma },\nu )\end{array}$$其提供了从t分布中生成数据的方法：从伽马分布中生成$h$，并从相关联的高斯分布$P(\mathbf{x}|h)$中生成$\mathbf{x}$，而隐变量$h$给出了高斯分布族中与数据点有关的分布。
  概率密度函数$P(\mathbf{x})$是包含隐变量的联合分布的边缘化形式，可以使用EM算法从训练数据集 { x i } i = 1 I \{\bm x_i\}_{i=1}^I {xi​}i=1I​中学习参数 θ = { μ , Σ , ν } \bm\theta = \{\bm\mu, \bm\Sigma, \bm\nu\} θ={μ,Σ,ν}。

4.6 因子分析
  视觉数据的维度通常很高，例如对于60x60的RBG图像，需要10800维度的向量来表示，当使用多元正态分布进行建模时，需要维度为10800x10800的协方差矩阵。一方面，需要大量的数据很好的估计这些参数；另一方面，需要大量的内存空间，以及对大型矩阵求逆的问题。
  当然，可以使用协方差矩阵的对角形式，但这假设了每个维度的数据是独立的，这显然是不正确的：非边缘区域的相邻像素的RGB值变化很小。一个好的模型应该捕获这些信息。
  因子分析提供了一种折中的方式，其利用全协方差模型定义一个线性子空间。因子分析的概率密度函数为$$P(\mathbf{x})=N(\mathbf{x};\mathbf{\mu },\mathbf{\Phi }{\mathbf{\Phi }}^T+\mathbf{\Sigma })$$其中，$\mathbf{\Phi }{\mathbf{\Phi }}^T$描述了子空间上的全协方差模型，$\mathbf{\Sigma }$解释剩下变化的对角矩阵。$\mathbf{\Phi }$是$K\times D$的矩阵，而$\mathbf{\Sigma }$是$D\times D$的对角矩阵。当$K<<D$时，该模型具有较少的参数。
  对于混合高斯分布与t分布，可以将因子分析模型视为观测数据$\mathbf{x}$和$K$维隐变量$\mathbf{h}$之间的联合分布的边缘分布，形如$$\begin{array}{rl}P(\mathbf{x}|\mathbf{h})& =N(\mathbf{x};\mathbf{\mu }+\mathbf{\Phi }\mathbf{h},\mathbf{\Sigma })\\ P(\mathbf{h})& =N(\mathbf{h};0,\mathbf{I})\end{array}$$那么有$$\begin{array}{rl}P(\mathbf{x})& =\int P(\mathbf{x},\mathbf{h})d\mathbf{h}\\ & =\int P(\mathbf{x}|\mathbf{h})P(\mathbf{h})d\mathbf{h}\\ & =\int N(\mathbf{x};\mathbf{\mu }+\mathbf{\Phi }\mathbf{h},\mathbf{\Sigma })N(\mathbf{h};0,\mathbf{I})d\mathbf{h}\\ & =N(\mathbf{x};\mathbf{\mu },\mathbf{\Phi }{\mathbf{\Phi }}^T+\mathbf{\Sigma })\end{array}$$这也是因子分析的原始定义。
  因子分析可以表示为包含隐变量的联合分布的边缘化形式，可以使用EM算法从训练数据集 { x i } i = 1 I \{\bm x_i\}_{i=1}^I {xi​}i=1I​中学习参数 θ = { μ , Φ , Σ } \bm\theta = \{\bm\mu, \bm\Phi, \bm\Sigma\} θ={μ,Φ,Σ}。

---

五、回归模型
  回归问题的目的是根据观测值$\mathbf{x}$来估计一元全局状态$y$。比较典型的是身体姿势估计的相关问题：根据观测到人的处于未知姿态图像来估计身体角度，这种分析可以作为行为识别的第一步。
  一般的，如果假设全局状态和数据的关系是线性的，并且该预测的不确定性为一个具有常数协方差的高斯分布，那么这是回归模型中典型的线性回归。

5.1 线性回归
  线性回归的目标是根据观测的数据$\mathbf{x}$预测关于全局状态$y$的后验分布$P(y|\mathbf{x})$。这是一个判别模型，可以通过选择一个关于全局状态$y$的概率分布并且是的参数依赖于数据$\mathbf{x}$。由于全局状态$y$是一元连续的，因此一元高斯分布是一个适合的分布。在线性回归中，令该正态分布的均值为数据的线性函数$w_0+{\mathbf{w}}^T{\mathbf{x}}_i$，且将方差${\sigma }^2$视为常量，使得$$P(y_i|{\mathbf{x}}_i,\mathbf{\theta })=N(y_i;w_0+{\mathbf{w}}^T{\mathbf{x}}_i,{\sigma }^2)$$其中， θ = { w 0 , w , σ 2 } \bm\theta = \{w_0, \bm w, \sigma^2\} θ={w0​,w,σ2}。
  这里可以令${\mathbf{x}}_i=(1,{\mathbf{x}}_i^T{)}^T$，使得$\mathbf{w}=(w_0,{\mathbf{w}}^T{)}^T$，那么有等价的：$$P(y_i|{\mathbf{x}}_i,\mathbf{\theta })=N(y_i;{\mathbf{w}}^T{\mathbf{x}}_i,{\sigma }^2)$$事实上，由于每个训练样本被看成是独立的，可以将整个训练样本集的概率$P(y|\mathbf{x})$写成单个对角协方差的正态分布，即$$P(\mathbf{y}|\mathbf{x})=N(\mathbf{y};{\mathbf{x}}^T\mathbf{w},{\sigma }^2\mathbf{I})$$其中，$\mathbf{x}=({\mathbf{x}}_1,...,{\mathbf{x}}_I)$，$\mathbf{w}=({\mathbf{w}}_1,...,{\mathbf{w}}_I{)}^T$。
  学习算法需要从训练样本 { x , y } i = 1 I \{\bm x, y\}_{i=1}^I {x,y}i=1I​中估计模型参数 θ = { w , σ 2 } \bm\theta = \{\bm w, \sigma^2\} θ={w,σ2}。根据最大似然估计方法，有$$\begin{array}{rl}\hat{\mathbf{\theta }}& =argma{x}_{\mathbf{\theta }}P(\mathbf{y}|\mathbf{x},\mathbf{\theta })\\ & =argma{x}_{\mathbf{\theta }}logP(\mathbf{y}|\mathbf{x},\mathbf{\theta })\\ & =argma{x}_{\mathbf{w},{\sigma }^2}log(\frac{1}{(2\pi {)}^{I/2}|{\sigma }^2\mathbf{I}{|}^{1/2}}exp[-\frac{(\mathbf{y}-{\mathbf{x}}^T\mathbf{w}{)}^T({\sigma }^2\mathbf{I}{)}^{-1}(\mathbf{y}-{\mathbf{x}}^T\mathbf{w})}{2}])\\ & =argma{x}_{\mathbf{w},{\sigma }^2}-\frac{I[log(2\pi )+log({\sigma }^2)]}{2}-\frac{(\mathbf{y}-{\mathbf{x}}^T\mathbf{w}{)}^T(\mathbf{y}-{\mathbf{x}}^T\mathbf{w})}{2{\sigma }^2}\end{array}$$对$\mathbf{w},{\sigma }^2$偏导赋零，得$$\begin{array}{rl}\hat{\mathbf{w}}& =({\mathbf{x}\mathbf{x}}^T{)}^{-1}\mathbf{x}\mathbf{w}\\ {\hat{\sigma }}^2& =(\mathbf{y}-{\mathbf{x}}^T\mathbf{w}{)}^T(\mathbf{y}-{\mathbf{x}}^T\mathbf{w})/I\end{array}$$  线性回归模型中有三个主要限制：
  -模型过于自信，当出现奇异点时，估计的参数的变化会使预测结果发生巨大变化；
  -局限于线性，通常没有特殊原因使得视觉数据和全局状态时线性关系；
  -当观测的数据维度过高时，许多元素会失去对预测全局状态的作用，使得得到的模型相对复杂。

5.2 贝叶斯线性回归
  贝叶斯方法的主要思想是求关于参数$\mathbf{w}$可能值的概率分布。当计算新数据的概率时，利用不同概率值进行加权平均。
  斜率参数$\mathbf{w}$是多元连续的，因此将先验$P(\mathbf{w})$建模为具有均值0和单位矩阵协方差的高斯分布$$P(\mathbf{w})=N(0,{\sigma }_p^2\mathbf{I})$$其中，${\sigma }_p^2$是先验协方差。一般来说，${\sigma }_p^2$设为较大的值来反映先验比较弱的事实。
  给定训练样本对 { ( x i , y i ) } i = 1 I \{(\bm x_i, y_i)\}_{i=1}^I {(xi​,yi​)}i=1I​，参数的后验分布可以利用贝叶斯法则计算$$P(\mathbf{w}|\mathbf{x},\mathbf{y})=\frac{P(\mathbf{y}|\mathbf{x},\mathbf{w})P(\mathbf{w})}{P(\mathbf{y}|\mathbf{x})}$$其似然函数为$$P(\mathbf{y}|\mathbf{x},\mathbf{\theta })=N(\mathbf{y};{\mathbf{x}}^T\mathbf{w},{\sigma }^2\mathbf{I})$$后验分布可以以闭式计算，通过下面的表达式给出：$$P(\mathbf{w}|\mathbf{x},\mathbf{y})=N(\mathbf{w};\frac{{\mathbf{A}}^{-1}\mathbf{x}\mathbf{w}}{{\sigma }^2},{\mathbf{A}}^{-1})$$其中$$\mathbf{A}=\frac{{\mathbf{x}\mathbf{x}}^T}{{\sigma }^2}+\frac{\mathbf{I}}{{\sigma }_p^2}$$后验分布$P(\mathbf{w}|\mathbf{x},\mathbf{y})$总是比先验分布的分布情况更窄，因为数据提供了参数值的信息。
  当对新观测数据${\mathbf{x}}^{\ast }$预测$y^{\ast }$时，对每个可能的$\mathbf{w}$对应的分布$P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{w})$取加权和，可以得到$$\begin{array}{rl}P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{w},\mathbf{x})& =\int P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{w})P(\mathbf{w}|\mathbf{x},y)d\mathbf{w}\\ & =\int N(y^{\ast }|{\mathbf{w}}^T{\mathbf{x}}^{\ast },{\sigma }^2)N(\mathbf{w};\frac{{\mathbf{A}}^{-1}\mathbf{x}\mathbf{w}}{{\sigma }^2},{\mathbf{A}}^{-1})d\mathbf{w}\\ & =N(y^{\ast };\frac{{\mathbf{x}}^{\ast T}{\mathbf{A}}^{-1}\mathbf{x}\mathbf{w}}{{\sigma }^2},{\mathbf{x}}^{\ast T}{\mathbf{A}}^{-1}{\mathbf{x}}^{\ast }+{\sigma }^2)\end{array}$$当出现观测数据${\mathbf{x}}^{\ast }$远离观测数据的均值$\bar{\mathbf{x}}$时，其置信度会通过$\mathbf{w}$的分布情况而降低。

5.3 非线性回归
  假设全局状态$y$和输入数据$\mathbf{x}$之间总存在线性关系是不切实际的。在处理非线性回归时，希望在扩展可描述的函数种类的同时保持线性模型中数学表述的方便性。
  特别简单的方法：首先将每个数据样本通过一非线性变换$${\mathbf{z}}_i=f({\mathbf{x}}_i)$$来创建一个通常比原始数据更高维的新数据向量${\mathbf{z}}_i$。然后使用线性回归的处理方法，使得$$P(y_i|{\mathbf{x}}_i)=N(y_i;{\mathbf{w}}^T{\mathbf{z}}_i,{\sigma }^2)$$例如一维多项式的回归：$$P(y_i|x_i)=N(y_i;w_0+w_1{x}_i+w_2{x}_i^2,{\sigma }^2)$$该模型可以看作计算以下非线性变换：$${\mathbf{z}}_i=(1,x_i,x_i^2{)}^T$$为了求梯度向量的最大似然解，首先将所有变换后的训练样本关系组合为单个表达式：$$P(\mathbf{y}|\mathbf{x})=N(\mathbf{y};{\mathbf{z}}^T\mathbf{w},{\sigma }^2\mathbf{I})$$最优参数可以用过下式计算：$$\begin{array}{rl}\hat{\mathbf{w}}& =({\mathbf{z}\mathbf{z}}^T{)}^{-1}\mathbf{z}\mathbf{y}\\ {\hat{\sigma }}^2& =(\mathbf{y}-{\mathbf{z}}^T\mathbf{w}{)}^T(\mathbf{y}-{\mathbf{z}}^T\mathbf{w})/I\end{array}$$  径向基函数是非线性回归中非线性变换的一种方法，其取$a_i$为中心，$\lambda$为缩放因子的对称函数，典型的就是高斯函数，令$${\mathbf{z}}_i=(1,exp[\frac{-(x_i-a_1{)}^2}{\lambda }],...,exp[\frac{-(x_i-a_Z{)}^2}{\lambda }]{)}^T$$通过${\mathbf{w}}^T\mathbf{z}$的加权和就可以近似一个函数。
  在贝叶斯解中，权重$\mathbf{w}$被看成是不确定的：在学习时求这些权重的后验分布。对于新观测量${\mathbf{x}}^{\ast }$，预测分布的表达式由于过于复杂而在这里直接给出：$$\begin{array}{rl}P({\mathbf{y}}^{\ast }|{\mathbf{z}}^{\ast },\mathbf{x},\mathbf{y})=N(& {\mathbf{y}}^{\ast };\frac{{\sigma }_p^2}{{\sigma }^2}{\mathbf{z}}^{\ast T}\mathbf{z}\mathbf{y}-\frac{{\sigma }_p^2}{{\sigma }^2}{\mathbf{z}}^{\ast T}\mathbf{z}({\mathbf{z}}^T\mathbf{z}+\frac{{\sigma }_p^2}{{\sigma }^2}\mathbf{I}{)}^{-1}{\mathbf{z}}^T\mathbf{z}\mathbf{y},\\ & {\sigma }_p^2{\mathbf{z}}^{\ast T}{\mathbf{z}}^{\ast }-{\sigma }_p^2{\mathbf{z}}^{\ast T}\mathbf{z}({\mathbf{z}}^T\mathbf{z}+\frac{{\sigma }_p^2}{{\sigma }^2}\mathbf{I}{)}^{-1}{\mathbf{z}}^T{\mathbf{z}}^{\ast }+{\sigma }^2)\end{array}$$

5.4 核函数
  事实上，非线性回归的贝叶斯方法在实际中很少应用：预测分布$P({\mathbf{y}}^{\ast }|{\mathbf{z}}^{\ast },\mathbf{x},\mathbf{y})$的最终表达式与内积${\mathbf{z}}_i^T{\mathbf{z}}_j$有关，然而当变换后的空间是高维空间时，显式的计算$f({\mathbf{x}}_i{)}^{T}f({\mathbf{x}}_j)$的复杂度过大。
  一种方法是核技巧，直接定义核函数$k({\mathbf{x}}_i,{\mathbf{x}}_j)$来替换计算$f({\mathbf{x}}_i{)}^{T}f({\mathbf{x}}_j)$。对于很多变换$f$，计算核函数比计算变换的内积要高效的多。使用核函数时，一个好处是可以定义核函数将数据投影到高维甚至无限维空间中。
  Mercer定理指出当核的参数是可测空间时，核函数有效，且核函数是半正定的，使得$$\sum _{i,j}k({\mathbf{x}}_i,{\mathbf{x}}_j)\ge 0$$对于空间中向量的任何有限子集 { x n } n = 1 N \{\bm x_n\}_{n=1}^N {xn​}n=1N​，有效核函数的例子包括：
  -线性核，$k({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_j$；
  -多项式核，$k({\mathbf{x}}_i,{\mathbf{x}}_j)=({\mathbf{x}}_i^T{\mathbf{x}}_j+1{)}^p$；
  -径向基【Radial Basis Function,RBF】，或称为高斯核，形如$$k({\mathbf{x}}_i,{\mathbf{x}}_j)=exp[-\frac{({\mathbf{x}}_i-{\mathbf{x}}_j{)}^T({\mathbf{x}}_i-{\mathbf{x}}_j)}{2{\lambda }^2}]$$其中径向基特别有趣，其将$\mathbf{x}$映射为无限长度的向量$\mathbf{z}$并计算其内积。

  如果将内积替换为核函数，得到的模型称为高斯过程回归，新数据的预测分布形如$$\begin{array}{rl}P({\mathbf{y}}^{\ast }|{\mathbf{z}}^{\ast },\mathbf{x},\mathbf{y})=N(& {\mathbf{y}}^{\ast };\frac{{\sigma }_p^2}{{\sigma }^2}k({\mathbf{x}}^{\ast },\mathbf{x})\mathbf{y}-\frac{{\sigma }_p^2}{{\sigma }^2}k({\mathbf{x}}^{\ast },\mathbf{x})(k({\mathbf{x}}^{\ast },\mathbf{x})+\frac{{\sigma }_p^2}{{\sigma }^2}\mathbf{I}{)}^{-1}k({\mathbf{x}}^{\ast },\mathbf{x})\mathbf{y},\\ & {\sigma }_p^{2}k({\mathbf{x}}^{\ast },\mathbf{x})-{\sigma }_p^{2}k({\mathbf{x}}^{\ast },\mathbf{x})(k({\mathbf{x}}^{\ast },\mathbf{x})+\frac{{\sigma }_p^2}{{\sigma }^2}\mathbf{I}{)}^{-1}k({\mathbf{x}}^{\ast },\mathbf{x})+{\sigma }^2)\end{array}$$要注意的是，核函数也可能包含参数，例如RBF核的缩放因子$\lambda$，其可以通过最大化边缘似然得到。

5.5 稀疏线性回归
  实际中经常会出现这种情况，$\mathbf{x}$维度中直有一小部分对预测$y$有用。然而，不做修改的，回归算法将在这些方向的梯度赋非零值。稀疏线性回归的目标是改造算法以求一个稀疏的梯度向量，其使得得到的分类器运行更快，且对测试样本有更好的泛化。
  为了得到稀疏解，对没一个非零的权对应的维度增加一个惩罚项。首先将梯度参数$\mathbf{w}=(w_0,w_1,...,w_D{)}^T$的高斯分布先验替换为t分布的乘积：$$P(\mathbf{w})=\prod _{d=1}^{D}stdu(w_d;0,1,\nu )$$其相比高斯分布有更窄的峰值分布，有利于稀疏：高维高斯分布呈超球体，而高维t分布呈星状，有更多值为零的元素。
  利用贝叶斯公式，目标是利用先验求可能的梯度变量$\mathbf{w}$的后验分布，使得$$P(\mathbf{w}|\mathbf{x},\mathbf{y},{\sigma }^2)=\frac{P(\mathbf{y}|\mathbf{x},\mathbf{w},{\sigma }^2)P(\mathbf{w})}{P(\mathbf{y}|\mathbf{x},{\sigma }^2)}$$为了利用共轭关系计算得到闭式表达式，将t分布表示为高斯分布的无限加权和，并令隐变量$h_d$决定方差，使得$$\begin{array}{rl}P(\mathbf{w})& =\prod _{d=1}^D\int N(w_d;0,1/h_d)Gam(h_d;v/2,v/2)d{h}_d\\ & =\int N(\mathbf{w};0,{\mathbf{H}}^{-1})\prod _{d=1}^{D}Gam(h_d;v/2,v/2)d\mathbf{H}\end{array}$$其中，$\mathbf{H}=diag(h_1,...,h_D)$。那么边缘似然的表达式为$$\begin{array}{rl}P(\mathbf{y}|\mathbf{x},{\sigma }^2)& =\int P(\mathbf{y},\mathbf{w}|\mathbf{x},{\sigma }^2)d\mathbf{w}\\ & =\int P(\mathbf{y}|\mathbf{x},\mathbf{w},{\sigma }^2)P(\mathbf{w})d\mathbf{w}\\ & =\int N(\mathbf{y};{\mathbf{x}}^T\mathbf{w},{\sigma }^2\mathbf{I})\int N(\mathbf{w};0,{\mathbf{H}}^{-1})\prod _{d=1}^{D}Gam(h_d;v/2,v/2)d\mathbf{H}d\mathbf{w}\\ & =\iint N(\mathbf{y};{\mathbf{x}}^T\mathbf{w},{\sigma }^2\mathbf{I})N(\mathbf{w};0,{\mathbf{H}}^{-1})\prod _{d=1}^{D}Gam(h_d;v/2,v/2)d\mathbf{H}d\mathbf{w}\\ & =\int N(\mathbf{y};0,{\mathbf{x}}^T{\mathbf{H}}^{-1}\mathbf{x}+{\sigma }^2\mathbf{I})\prod _{d=1}^{D}Gam(h_d;v/2,v/2)d\mathbf{H}\end{array}$$即使如此仍然不能闭式的求积分，但可以得到近似解 P ( y ∣ x , σ 2 ) ≈ m a x H { N ( y ; 0 , x T H − 1 x + σ 2 I ) ∏ d = 1 D G a m ( h d ; v / 2 , v / 2 ) } P(\bm y|\bm x, \sigma^2) \approx max_{\bm H}\{N(\bm y;\bm 0, \bm x^T\bm H^{-1}\bm x + \sigma^2\bm I)\prod_{d=1}^DGam(h_d;v/2, v/2)\} P(y∣x,σ2)≈maxH​{N(y;0,xTH−1x+σ2I)d=1∏D​Gam(hd​;v/2,v/2)}当$h_d$取较大值时，先验具有小的方差$1/h_d$，那么系数$w_d$就会接近于零。
  对于隐变量$\mathbf{h}$与方差${\sigma }^2$，可以使用EM算法进行拟合；在实际中，自由等级选取的较小（$lgv<-3$）以利于稀疏，并在丢弃$h_d$很大的$\mathbf{w}$的所有维度得到稀疏的梯度向量。

---

六、分类模型
  分类模型与回归问题联系紧密，其具体目标是根据离散全局状态及给定向量的连续观测数据，对全局状态的后验概率分布直接建立模型。一个典型的应用就是基于人脸的性别分类：这是一个二值分类问题。

6.1 逻辑回归
  逻辑回归（虽然从名称上看似乎并不能用于分类）是一个判别模型：基于全局状态$y$，选择一种概率分布，并依据观测数据$\mathbf{x}$来确定参数。对于二值分类的 y ∈ { 0 , 1 } y \in \{0, 1\} y∈{0,1}，使用伯努利分布来描述$y$，并将参数$p$用观测数据$\mathbf{x}$的函数表示。
  与回归模型不同，不能简单的将变量$p$用线性函数$w_0+{\mathbf{w}}^T\mathbf{x}$表示，因为线性函数可以返回任意值，而$p$只能介于$[0,1]$中。因此，首先计算线性函数后需要传入逻辑Sigmoid函数中，使$p$从$R$映射到$[0,1]$中，使得最终的模型为$$P(y|w_0,\mathbf{w},\mathbf{x})=B(y;sigmoid(w_0+{\mathbf{w}}^T\mathbf{x}))$$其中逻辑Sigmoid函数的形式如下：$$sigmoid(x)=\frac{1}{1+exp(-x)}$$  在多维空间中，为了简化表示，可以令$\mathbf{w}=(w_0,{\mathbf{w}}^T{)}^T$，以及$\mathbf{x}=(1,{\mathbf{x}}^T{)}^T$，使得模型为$$P(y|\mathbf{w},\mathbf{x})=B(y;\frac{1}{1+exp(-{\mathbf{w}}^T\mathbf{x})})$$  为了通过最大似然估计学习参数，使用训练数据 { x i , y i } i = 1 I \{\bm x_i, y_i\}_{i=1}^I {xi​,yi​}i=1I​拟合$\mathbf{w}$，假设训练样本相互独立，有$$\begin{array}{rl}P(\mathbf{y}|\mathbf{x},\mathbf{w})& =\prod _{i=1}^I{p}^{y_i}(1-p{)}^{1-y_i}\\ & =\prod _{i=1}^I(\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}{)}^{y_i}(\frac{exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}{)}^{1-y_i}\end{array}$$对数似然函数为$$lnL=\sum _{i=1}^I[y_{i}log\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}+(1-y_i)log(\frac{exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)})]$$其对$\mathbf{w}$的偏微分为$$\frac{\partial lnL}{\partial \mathbf{w}}=-\sum _{i=1}^I(\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}-y_i){\mathbf{x}}_i$$然而，为上式赋零并不能得到$\mathbf{w}$的闭式解。因此需要依赖非线性优化来求目标函数的最大值。这里使用牛顿法，使得$${\mathbf{w}}^{[t]}={\mathbf{w}}^{[t-1]}+a(\frac{{\partial }^{2}lnL}{\partial {\mathbf{w}}^2}{)}^{-1}\frac{\partial lnL}{\partial \mathbf{w}}$$其中$$\begin{array}{rl}\frac{\partial lnL}{\partial \mathbf{w}}& =-\sum _{i=1}^I(\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}-y_i){\mathbf{x}}_i\\ \frac{{\partial }^{2}lnL}{\partial {\mathbf{w}}^2}& =-\sum _{i=1}^I\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}(1-\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}){\mathbf{x}}_i{\mathbf{x}}_i^T\end{array}$$其分别被称为梯度向量与海森矩阵。梯度矩阵的表达式是直观的：每个数据点的贡献权重取决于实际类别与预测概率的差距。
  逻辑回归对于简单的数据集较为实用，但是对复杂数据集不具有普适性，主要有以下几点原因：
  -最大似然估计得到的模型过于自信；
  -只能描述线性决策边界；
  -且对高维数据容易过拟合。

6.2 贝叶斯回归
  贝叶斯方法中，需要学习参数值$\mathbf{w}$的分布，首先定义$\mathbf{w}$的先验概率。由于逻辑回归模型不存在共轭的概率分布，这就是似然估计和预测分布没有闭合解的原因。对于一种由连续参数$\mathbf{w}$得到的先验概率的合理选择是均值为零的、较大单位协方差的多元正态分布，即$$P(\mathbf{w})=N(\mathbf{w};0,{\sigma }_p^2\mathbf{I})$$为了计算关于参数$\mathbf{w}$的后验概率分布$P(\mathbf{w}|\mathbf{x},\mathbf{y})$，应用贝叶斯方法：$$P(\mathbf{w}|\mathbf{x},\mathbf{y})=\frac{P(\mathbf{y}|\mathbf{x},\mathbf{w})P(\mathbf{w})}{P(\mathbf{y}|\mathbf{x})}$$由于不存在简单的闭式表达式，必须进行近似。
  一个可行的办法是拉普拉斯近似，其通过一个多元高斯分布去近似后验概率分布，使得：
  -高斯分布的均值是后验概率分布的峰值；
  -高斯分布的方差使得峰值处的二阶导数的近似值与真实值相匹配。
为了实现拉普拉斯近似，首先求参数$\mathbf{w}$的最大后验估计：$$lnL(\mathbf{w})=\sum _{i=1}^I[log(P(y_i|{\mathbf{x}}_i,\mathbf{w}))+log(P(\mathbf{w}))]$$对后验概率对数偏导：$$\begin{array}{rl}\frac{\partial lnL}{\partial \mathbf{w}}& =-\sum _{i=1}^I(\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}-y_i){\mathbf{x}}_i-\frac{\mathbf{w}}{{\sigma }_p^2}\\ \frac{{\partial }^{2}lnL}{\partial {\mathbf{w}}^2}& =-\sum _{i=1}^I\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}(1-\frac{1}{1+exp(-{\mathbf{w}}^T{\mathbf{x}}_i)}){\mathbf{x}}_i{\mathbf{x}}_i^T-\frac{1}{{\sigma }_p^2}\end{array}$$使用多元高斯分布来近似后验概率$$P(\mathbf{w}|\mathbf{x},\mathbf{y})\approx q(\mathbf{w})=N(\mathbf{w};\mathbf{\mu },\mathbf{\Sigma })$$其中$$\begin{array}{rl}\mathbf{\mu }& =\hat{\mathbf{w}}\\ \mathbf{\Sigma }& =-(\frac{{\partial }^{2}lnL}{\partial {\mathbf{w}}^2}{)}^{-1}{|}_{\mathbf{w}=\hat{\mathbf{w}}}\end{array}$$随后，对于新观测数据${\mathbf{x}}^{\ast }$，有$$\begin{array}{rl}P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{x},\mathbf{y})& =\int P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{x},\mathbf{y},\mathbf{w})P(\mathbf{w}|{\mathbf{x}}^{\ast },\mathbf{x},\mathbf{y})d\mathbf{w}\\ & =\int P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{w})P(\mathbf{w}|\mathbf{x},\mathbf{y})d\mathbf{w}\\ & \approx \int P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{w})q(\mathbf{w})d\mathbf{w}\end{array}$$事实上，该式也不能闭式计算，这里直接给出一个近似的闭式解：$$P(y^{\ast }|{\mathbf{x}}^{\ast },\mathbf{x},\mathbf{y},\mathbf{w})=\frac{1}{1+exp(-{\mathbf{\mu }}^T{\mathbf{x}}^{\ast }/\sqrt{1+\pi {\mathbf{x}}^{\ast T}{\mathbf{\Sigma }\mathbf{x}}^{\ast }/8})}$$

6.3 非线性逻辑回归
  上述逻辑回归模型创建了类间的线性决策边界。一个简单的创造非线性决策边界的方法同回归模型相同的方法：使用非线性变换$\mathbf{z}=f(\mathbf{x})$建立逻辑回归模型$$P(y|\mathbf{x},\mathbf{w})=B(y|sigmoid({\mathbf{w}}^T\mathbf{z}))$$典型的非线性变换有：
  -投影单位阶跃函数$z=h({\mathbf{w}}^T\mathbf{x})$；
  -投影反正切函数$z=arctan({\mathbf{w}}^T\mathbf{x})$；
  -径向基函数$z=exp[-(\mathbf{x}-\mathbf{a}{)}^T(\mathbf{x}-\mathbf{a})/{\lambda }_0]$。
需要指出的是，基函数同样有参数。