计算机视觉-模型学习和推理笔记 第四章

《Computer Vision - Model Learning and Inference》笔记

第四章

模型拟合（Model Fitting），就是确定模型的参数集合 $\mathbf{\theta }$。

最大似然估计法（ML）

为了数学上的简便性，假设每个数据点的选取都是独立的。即$P(x_i|x_j)=P(x_i),i\ne j$ 最大似然估计法的过程如下：

1. 求出每个数据点$x_i$由模型（参数带进去算）产生的概率$P(x_i)$
2. 求其积 ${\prod }_{i}P(x_i)$
3. 此时，求参数为多少时，上述乘积取最大值。例如可以求导，对正态分布可以先取对数再求导。

上述过程求得的参数记作：

$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}(\prod P(x_i|\theta ))$$

最大后验概率(MAP)

有时候，我们可能通过经验提前知道参数取某个值的概率分布，将之记作$P(\theta )$。

$$\begin{gathered} \hat{\theta }=\mathrm{argmax}\left[P\left(\theta |x_{1...I}\right)\right] \\ =\mathrm{argmax}\left[\frac{P(x_{1...I}|\theta )P(\theta )}{P(x_{1...I})}\right] \\ =\mathrm{argmax}\left[\frac{\prod P(x_i|\theta )P(\theta )}{P(x_{1...I})}\right] \end{gathered}$$

由于分母和$\theta$无关，不会影响最大值的位置，故可以直接去掉。

$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}(\prod P(x_i|\theta )P(\theta ))$$

这就是MAP求参数的公式。

ML可以看作是MAP的一个特殊情况。

贝叶斯方法

贝叶斯方法不再试图求一个最大的$\hat{\theta }$，而是把$\theta$的分布$P(\theta |x_{1...i})$求出来。承认每个$\theta$的取值对结果的影响。

由贝叶斯公式：
$$P(\theta |x_{1...i})=\frac{\prod P(x_i|\theta )P(\theta )}{P(x_{1...I})}$$

求出$P(\theta |x_{1...i})$后，预测新的数据点$x^{\ast }$概率即求一个“加权平均”，“权”由$P(\theta |x_{1...i})$给出。根据概率密度函数的定义，所有“权”的和为1。

$$P(x^{\ast }|x_{1...I})=\int P(x^{\ast }|\theta )P(\theta |x_{1...I})d\theta$$

ML和MAP都可以看作是贝叶斯方法的特殊情况，如果我们把$P(\theta |x_{1...i})$看成是一个聚集在$\hat{\theta }$的delta函数（积分为1，除了$\hat{\theta }$处函数值均为0的函数）的话。

示例1：一元正态分布

问题：给定由正态分布产生的数据 { x i } 1 I {\{x_i\}}_1^I {xi​}1I​，拟合出$\mu ,\sigma$。

最大似然估计法（ML）

$$\begin{gathered} \hat{\theta }=\mu ,{\sigma }^2=\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(\prod _{1<i<=I}P(x_i|\mu ,{\sigma }^2)) \\ =\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(\prod _{1<=i<=I}Nor{m}_{x_i}[\mu ,{\sigma }^2]) \\ =\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(log\prod _{1<i<=I}Nor{m}_{x_i}[\mu ,{\sigma }^2]) \\ =\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(-0.5I(log2\pi +log{\sigma }^2)-0.5\sum _{1<=i<=I}\frac{(x_i-\mu {)}^2}{{\sigma }^2}) \end{gathered}$$

设
$$L=-0.5I(log2\pi +log{\sigma }^2)-0.5\sum _{1<=i<=I}\frac{(x_i-\mu {)}^2}{{\sigma }^2}$$
求偏导，令导为0，可求极大值点。
$$\frac{\partial L}{\partial \mu }=\sum _{1<=i<=I}\frac{(x_i-\mu )}{{\sigma }^2}=0$$
$\mu$极大值点：
$$\hat{\mu }=\frac{\sum x_i}{I}$$
同理，求${\sigma }^2$的极大值点：
$$\hat{\sigma }=\sum _{1<=i<=I}\frac{(x_i-\hat{\mu }{)}^2}{I}$$
可见，ML求出来的其实就是已知数据的均值和方差。

最大后验概率(MAP)

$$\begin{gathered} \hat{\theta }=\mu ,{\sigma }^2=\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(\prod P(x_i|\mu ,{\sigma }^2)P(\mu ,{\sigma }^2)) \\ =\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(\prod _{1<=i<=I}Nor{m}_{x_i}(\mu ,{\sigma }^2)NormInvGa{m}_{\mu ,{\sigma }^2}(\alpha ,\beta ,\gamma ,\sigma )) \\ =\underset{\mu ,{\sigma }^2}{\mathrm{argmax}}(\log (\prod _{1<=i<=I}Nor{m}_{x_i}(\mu ,{\sigma }^2)NormInvGa{m}_{\mu ,{\sigma }^2}(\alpha ,\beta ,\gamma ,\sigma ))) \end{gathered}$$

同样求极大值，步骤很麻烦，这里略去，结果是：

$$\hat{\mu }=\frac{\sum x_i+\gamma \delta }{I+\gamma },{\hat{\sigma }}^2=\frac{\sum (x_i-\hat{\mu }{)}^2+2\beta +\gamma (\delta -\hat{\mu }{)}^2}{I+3+2\alpha }$$

贝叶斯方法

$$\begin{gathered} P(\mu ,{\sigma }^2|x_{1...I})=\frac{P(x_{1...I}|\mu ,{\sigma }^2)P(\mu ,{\sigma }^2)}{P(x_{1...I})} \\ =\frac{\prod Norm{x}_i[\mu ,{\sigma }^2]NormInvGa{m}_{\mu ,{\sigma }^2}[\alpha ,\beta ,\gamma ,\delta ]}{P(x_{1...I})} \\ =\frac{\kappa NormInvGa{m}_{\mu ,{\sigma }^2}[\tilde{\alpha },\tilde{\beta },\tilde{\gamma },\tilde{\delta }]}{P(x_{1...I})} \end{gathered}$$

第三行使用了共轭的性质，即后验概率和先验概率具有同样形式。

$$\begin{gathered} \tilde{\alpha }=\alpha +I/2, \\ \tilde{\gamma }=\gamma +I, \\ \tilde{\delta }=\frac{\gamma \delta +\sum x_i}{\gamma +I}, \\ \tilde{\beta }=\frac{\sum x_i^2}{2}+\beta +\frac{\gamma {\delta }^2}{2}-\frac{(\gamma \delta +\sum x_i{)}^2}{2(\gamma +I)} \end{gathered}$$

由于概率密度函数必须积分为1，故$\kappa$和分母必须能约掉，即：
$$P(\mu ,{\sigma }^2|x_{1...I})=NormInvGa{m}_{\mu ,{\sigma }^2}[\tilde{\alpha },\tilde{\beta },\tilde{\gamma },\tilde{\delta }]$$