智能建模之最小二乘辨识LS：Matlab实现

智能建模之最小二乘辨识LS：Matlab实现

维基百科解释：https://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)
百度百科解释：http://baike.baidu.com/link?url=lslmpU3mejdmTa5HFapiYoIeZjLmkznLtH1vkxdU3k6xtz7I0BgxDfNbUPwqiZBR_idDmtkv-dFIakwfs31pF6ZbsAtfTeA4ZI01eh_GM6iCx2_JC6RxNIKRQAKbf32RB22XOv6mcPtP6EfdR_e_Oq

基础知识：

最小二乘法（LS）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，
并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大
化熵用最小二乘法来表达。

考虑超定方程组（超定指未知数小于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数β，m>n ；将其进行向量化后为：

，，

显然该方程组一般而言没有解，所以为了选取最合适的β让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的 均方误差MSE）

当