最小二乘准则

最小二乘准则@原理以及推导

最小二乘准则

最小二乘法的目的是为了寻找能够拟合真实数据分布的数学模型。

定义

通过最小化误差的平方和，寻找数据的最佳函数匹配，从而能够根据最佳函数来预测新变量对应的数值。

证明

1. 寻找投影方向$a^{\ast }$

$Ya=b$
Y = [Y1 Y2 Y3 Y4]
b = [b1 b2 b3 b4]
其中Y代表规范化增广向量样本，b代表对应的函数值
定义误差 e = Y a - b, 平方误差准则函数
J（a）= $|e$