【机器学习基础】从回归问题引基础：多项式曲线拟合

本系列为《模式识别与机器学习》的读书笔记。

一， 举例：多项式曲线拟合

假设给定一个训练集。这个训练集由 $x$ 的 $N$ 次观测组成，写作 $\mathbf{x}\equiv (x_1,\dots ,x_N{)}^T$ ，伴随这对应的 $t$ 的观测值，记作 $\mathbf{t}\equiv (t_1,\dots ,t_N{)}^T$。其中，输入数据集合 $\mathbf{x}$ 通过选择$x_n(n=1,\dots ,N)$ 的值来生成，这些 $x_n$ 均匀分布在区间[0, 1]，目标数据集 $\mathbf{t}$ 的获得方式是：首先计算函数 $sin(2\pi x)$ 的对应的值，然后给每个点增加一个小的符合高斯分布的随机噪声，从而得到对应的 $t_n$ 的值。 我们的目标是利用这个训练集预测对于输入变量的新值 $\hat{x}$ 得到的目标变量的值 $\hat{t}$。

如下图1.1，由 $N$ =10个数据点组成的训练集的图像，用蓝色圆圈表示。

如图1.2，误差函数对应于每个数据点与函数 $y(x,\mathbf{w})$ 之间位移（绿⾊垂直线）的平⽅和（的⼀半）。

但是现在，我们要⽤⼀种相当⾮正式的、相当简单的⽅式来进⾏曲线拟合。特别地，将使⽤下⾯形式的多项式函数来拟合数据：

y ( x , w ) =