最小二乘法

什么是二乘？

最小二乘法，所谓“二乘”就是平方的意思，即最小平方法。

为什么是平方而不是绝对值？不是因为绝对值计算麻烦那么简单

不等价于线性回归

同一组数据，选择不同的f(x) ，通过最小二乘法可以得到不一样的拟合曲线 

假如选y=kx+b，那拟合曲线就是直线，假如选y=ax^2+bx+c，那拟合曲线就是二次的

f(x)也不能选择任意的函数，还是有一些讲究的，这里就不介绍了。【后面再研究这个问题】

似然函数

 最小二乘法的一种常见的描述是残差满足正态分布的最大似然估计

 概率论6大分布

 正态分布