最小二乘法一种学习优化技术,它的目标是最小化误差平方和,从而找到最优模型,这个模型可以拟合观察数据。
例子:有一组数据(1,6),(3,5),(5,7),(6,12),要找出一条与这几个点最为匹配的直线 : y = A + Bx
真实值和预测值如下:
6 A + B
5 A + 3B
7 A + 5B
12 A + 6B
采用最小二乘法:
对A,B求偏导,进而求出A,B的值。(即求出所有的误差平方和)