最小二乘法

最小二乘法可以：拟合最优超平面，使得误差和最小。
I.微积分求解最优超平面

情景,假设横坐标代表股票市盈率(PE)，纵坐标代表股价(SP),已知三点(1,1)(2,3)(3,2),需要通过PE预测SP,求最优预测直线，这是个线性回归问题，下面通过最小均方误差和通过微积分求出该直线。
1.设直线为:y=ax+b
2.最小均方误差和为：(a+b-1)²+ (2a+b-2)²+(3a+b-2)²=
14a²+3b²+12ab-22a-10b+9
3.因为所得方程为凸函数，分别对a和b求偏导，求极小值从而求得a,b
14a+6b=11
6a+3b=5
=>a=1/2,b=2/3
4.所得直线为：6y=3x+4

II.线性代数求解最优超平面
线性代数应用最小二乘法原理

图片出处：
http://edu.51cto.com/center/course/lesson/index?id=59908