最小二乘法

最小二乘法一种学习优化技术，它的目标是最小化误差平方和，从而找到最优模型，这个模型可以拟合观察数据。
例子：有一组数据（1，6），（3，5），（5，7），（6，12），要找出一条与这几个点最为匹配的直线 ： y = A + Bx 
真实值和预测值如下： 
6                A + B 
5                A + 3B 
7                A + 5B 
12              A + 6B 

采用最小二乘法： 
对A，B求偏导，进而求出A，B的值。（即求出所有的误差平方和）