PRML 阅读笔记（七）<2.3.3-2.3.9>

2.3.3 Bayes'theorem for Gaussian variables

          之前两节，书中用标准二次型和配方的方法找到了p(xa)和p(xb|xa)，这一节中，把它们记为p(x)和p(y|x)，并把他们当作贝叶斯理论中的先验概率和似然函数，用以求得p(y)和后验概率p(x|y)。为了简化描述，作者先对之前的结论进行了描述的简化，定义了三个新的参数（对照上一节可知三个参数的含义），并随之引出了线性高斯模型的概念。

            一如之前分块的方法，这次书中将x，y拼接：

           

              即，p(x,y)=p(z)。然后作者通过最上面的两个公式，利用x和y|x分布的期望和协方差矩阵进行推导，得到关于z的二次型。这样便得到了z的协方差矩阵，不同的是，现在z的协方差矩阵已经被x和y|x的参数所表示，再通过配方法得到z的均值，这样便可以得到p(y)的期望和协方差矩阵了。关于p(x|y)，我们已经有p(x)p(y|x)和p(y)，利用公式p(x)p(y|x)/p(y)，不难得出后验概率。

2.3.4 Maximum likelihood for Gaussian

          假设X服从多维高斯正态分布，可以得到密度函数的log形式，对log函数中的μ球偏导(求导过程利用了附录C的公式19)，并令偏导数为“0”，可以得到μ的最大似然估计：

          

          关于样本协方差矩阵的最大似然估计是怎么得到的，作者似乎并没有特别明确说明，直接给出了结果。如同单维高斯分布一样，作者又提出了样本均值是期望的无偏估计，而样本协方差矩阵则是协方差矩阵的有偏估计，从而引起过拟合。所以对估计量进行修正：

          

2.3.5 Sequential estimation

           利用上一小节得到的μ的最大似然估计࿰