最小二乘法学习

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
作用（可解决问题）：
（1）可用作回归分析，匹配最佳的未知参数
（2）使求得的数据与实际数据之间误差的平方和为最小，可实现最佳匹配——应用于模式识别
（3）最小化误差可用于曲线拟合
（4）求解优化问题，如最小化能量或最大化熵问题

下面我们来看第一个实际的例子，可涉及到讲述：求取未知参数（回归系数的最小二乘估计）、寻找两个变量之间的关系（回归分析）、最小化误差平方和的最佳匹配。
例1.测16名初中男生的身高与腿长所得数据如下：

以身高x为横坐标，以腿长y为纵坐标将这些数据点（xi，yi）在平面直角坐标系上标出.

一般地，称由 确定的模型为一元线性回归模型，
记为