拟合与回归，最小二乘与极大似然

本文同时发表于我的个人博客http://xinyuwg.com，访问该链接以获得更详细信息与更好的阅读体验
本文为原创内容，未经允许请勿转载。

我们在数学分析中学习过多项式拟合，并使用最小二乘法估计多项式参数。也在统计学中学习过线性回归模型，其参数估计由最小化误差函数给出。然后深究后可以发现二者描述的都是同一件事，本文将详细介绍其中的联系。

多项式拟合

先回顾下多项式拟合.假设训练集$X$由$N$个观测点组成,记作 X = { x 1 , x 2 , . . . , x N } X=\{x_1,x_2,...,x_N\} X={ x1​,x2​,...,xN​};其对应观测值为$t$.我们的目标是通过训练集建立模型,对新的观测点$\hat{x}$预测其对应的值$\hat{t}$.

最直观的想法便是使用多项式来拟合,其形式如下:$$y(x,w)=w_0+w_{1}x+...+w_M{x}^M=\sum _{n=0}^M{w}_n{x}^n$$
其中多项式系数$w_0,...,w_M$为多项式系数,记作向量$w$,是该模型的待估参数.$M$为多项式的阶数.

最小二乘

对于误差的估计我们可以用最小化误差函数实现.在最小二乘中,误差函数定义为 E ( w ) = 1 2 ∑ n