最小二乘法简述

今天学习分形理论的分形维数计算过程，其中最后一步是利用最小二乘法来估计出分形维数。看到后，半天没反应过来，最小二乘？是什么东西。只能上wiki去找答案了：

The method of least squares is a standard approach to the approximate solution of overdetermined systems, i.e., sets of equations in which there are more equations than unknowns. "Least squares" means that the overall solution minimizes the sum of the squares of the errors made in the results of every single equation.

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

如果你之前学过最小二乘法，那么看到下面这张图，你肯定能立刻想起来，那最小二乘到底是什么东西。

看了维基上的解释后，我把张贤达大师的《现代信号处理》翻开，才发现以前那是实实在在地学过的啊，那时叫做最小二乘估计。这是一种不需要任何先验知识的参数估计方法。下面是当年的PPT：

维基里面还有一个例子，看了基本就明白最小二乘怎么算的了：

另外一个实验教材如下：（猛击图片）或点下载