最小二乘准则

最小二乘准则@原理以及推导

最小二乘准则

最小二乘法的目的是为了寻找能够拟合真实数据分布的数学模型。

定义

通过最小化误差的平方和，寻找数据的最佳函数匹配，从而能够根据最佳函数来预测新变量对应的数值。

证明

1. 寻找投影方向$a^{\ast }$

$Ya=b$
Y = [Y1 Y2 Y3 Y4]
b = [b1 b2 b3 b4]
其中Y代表规范化增广向量样本，b代表对应的函数值
定义误差 e = Y a - b, 平方误差准则函数
J（a）= $|e|{|}^2$ = $|Ya-b|{|}^2$

2.求使得J(a)最小的$a^{\ast }$

令 $▽j=0$，我们可以得到$Y^{T}Y{a}^{\ast }=Y^{T}b$.
因此，$a^{\ast }=(Y^{T}Y{)}^{-1}{Y}^{T}b=Y^{+}b$
$Y^{+}$为左逆矩阵