最小二乘，极大似然和最大后验估计的关系

最小二乘，极大似然和最大后验估计的关系

problem：曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系由直线方程$y=\alpha +\beta x$确定，$\alpha$和$\beta$分别是截距和斜率。N组数据$D = \{ ({x_i},{y_i}),i = 1,2,...,N\}$

a)最小二乘估计参数（Least square estimation）:残差平方和$\chi^{2} = \sum\limits_{i = 1}^N {\omega_{i}{{[{y_i} - (\alpha + \beta {x_i})]}^2}}$最小，求$\alpha ,\beta$的最小二乘估计最优值。

b)最大似然估计参数 (maximum likelihood estimation)：引入残差项$\xi$即$y=\alpha + \beta x+ \xi$ ，假设${\xi _i} \sim N(0,{\sigma ^2})$，给出似然函数并求出和的最大似然估计最优值。

c)最大后验估计参数(maximum a posterior estimation) 假设${\xi _i} \sim N(0,{\sigma ^2})$，此外对参数有先验信息$\alpha ,\beta \sim N(0,{\tau ^2})$，求出$\alpha ,\beta$的最大后验估计最优值。

a:

解得：

b:建立似然函数L，求似然函数的极值

c:在有先验信息时，似然函数变为如下：

通过上述推导，最小二乘估计是加权最小二乘估计的权重等于1时的特殊情况；

当残差满足正态分布时，极大似然估计的结果和最小二乘的结果相同；

极大似然估计是最大后验估计的先验概率$p(\theta)=1$特殊形式。