PRML-系列一之1.2.5~1.2.6

曲线拟合

　　我们已经看到多项式曲线拟合问题如何用误差最小化的形式来表示。这里，我们回到曲线拟合例子并从概率的角度来看待它，从而获得一些对误差函数和正规化的深刻理解，以及引导我们到一个完整的贝叶斯处理。
　　曲线拟合问题的目的是给定输入变量x的一些新值来预测目标变量t。我们可以用概率分布来表达对目标变量值的不确定性。出于这个目的，我们假设，给定x值，相应值t满足高斯分布，其均值等于（1.1）给出的多项式曲线y（x，w）。从而我们有：

为了和后面章节的符号保持一致，我们定义精密度参数β对应分布方差的倒数。图的解释如1.16

　　现在我们用训练集{x，t}通过最大化似然来确定未知参数w和β的值。如果假设数据来自（1.60）的分布，那么似然函数如下：

正如我们之前简单高斯模型中做的那样，最大化对数似然是比较方便的。替代（1.46）给出的高斯形式，我们得到了对数似然函数形式：

考虑多项式系数最大似然解的第一个测定，它用Wml表示。对w最大化（1.62）可以确定他们。为了这个目的，我们可以省略（1.62）的右手边的最后两项，因为它们不依赖于w。此外，我们注意，用正的常系数缩放对数似然不改变对于w来说最大值的位置，因此我们可以用1/2代替系数β/ 2。最后，不是最大化数似然，我们可以等价地最小化负对数似然。因此，我们看到，对确定w而言，最大化似然等价于最小化（1.2）定义的平方和误差函数。因此，在高斯噪声分布的假设下，最大化似然最终归结到平方和误差函数。
　　我们也能用最大似然来确定高斯条件分布的精密度参数。对于β最大化（1.62）得到：

再次，我们首先确定控制均值的参数向量w，随后用它来找到精确的βml，正如简单的高斯分布那样。
　　已经确定了参数w和β，现在我们可以对新的x值做预测。因为我们现在有一个概率模型，这些用预测分布的形式来表达，该预测分布给出了在t上的概率分布而不是简单的点估计，并通过代入最大似然参数到（1.60）获得

　　现在让我们进一步走向贝叶斯方法并引入多项式系数w上先验分布。为了简化，让我们考虑高斯分布形式：

其中α是分布的精密度，M+1是M阶多项式中向量w的元素数目。变量叫做超参数，例如α控制模型参数的分布。利用贝叶斯定理，w的后验概率与先验概率和似然函数的乘积是成比例的：

现在我们通过给定数据，找到最可能的w值就能确定w，换句话说就是最大化后验概率。这种技术叫做最大化后验或MAP。取（1.66）的负对数，并且结合（1.62）和（1.65），我们发现后验的最大值通过最小化
得到。
因此我们看到最大化后验概率等价于最小化正规化的平方和误差函数。

贝叶斯曲线拟合

　　虽然我们已经包含了先验分布p（w|α），但我们至今仍在进行w的点估计，因此这并不算是贝叶斯处理。在完全贝叶斯方法中，我们应该坚持运用概率的求和与乘积规则，这就要求我们整合w上的所有值。这种边缘化是模式识别中贝叶斯方法的心脏。
　　在曲线拟合问题，我们得到了训练数据x和t，连同一个新的测试点x，我们的目标是预测t的值。因此，我们希望评估预测分布p（t | x，x，t）。这里，我们将假设参数α和β是固定的且预先知道（在后面的章节中我们将讨论这样的参数如何用贝叶斯方法从数据中推断出来）。
　　贝叶斯处理只是对应于概率求和和乘积规则的一致性应用，这允许预测分布写成如下格式：

这里p（t| x，w）由（1.60）给出，为了简化符号，我们省略了α和β。这里p（w|x，t）是参数上的后验分布，并且通过标准化（1.66）右侧的式子得到。我们将看到在3.3节中，对于诸如如曲线拟合的问题，后验分布是高斯并且可以被评估。类似地，（1.68）中的积分也可以用以下形式的高斯得到的预测分布结果来执行：

其中均值和方差如下：

这里矩阵S如下：

其中I是单位矩阵，我们已经定义了向量φi(x)，其中φi(x) = xi for i = 0, … , M。
　　我们看到（1.69）中预测分布的方差以及均值依赖x。由于目标变量的噪声，（1.71）的第一项代表预测t值的不确定性并已经用最大似然预测分布（1.64）来表示。然而，第二项的出现来自参数w的不确定性且是贝叶斯处理的结果。合成正弦回归问题的预测分布示于图1.17。