最小二乘法

最小二乘法的作用是将已知的数据点拟合成已知方程的曲线。所谓已知的数据点，是指那些我们观察到的数据点，而已知方程的曲线是指人为定义的一个方程，至于这个方程究竟是什么，是从某种理论或假定出发的。例如，在人口增长模型logistic模型中，我们认为在资源充足的情况下，人口应该是以接近指数增长的方式爆炸式增长，随着人口的增长，资源紧张，人口增长率逐渐下降至0：

于是就得到了其累计增长曲线：

这个曲线的方程可能是长这样的：

其中\(/mu\)和\(s\)是参数或系数，注意参数和变量是不一样的，参数用来确定模型具体的一些细节，在其图像上看就是说确定了一个形状。

好了，现在假定我们的拟合函数是\(/f(/theta_i),i=1,2,...,k\)，k代表有k元未知数，数据是\(/X_i,i=1,2,...,n\)，这里的大写代表的是一组数据，总共有n组数据，每组数据包括的观测值有\(/x_i,i=1,2,...,k\)，对于第i组数据，对应的函数取值为$y_j=f(/theta_{j_1},/theta_{j_2},.../theta_{j_i}),j=1,2...n,i=1,2...,k.

写到这里我突然发现自己有几个地方还要做一点research
1.加权的权重如何确定，很多是用sigma
2.为什么是平方，而不是四次方等
3.历史研究，从拉普拉斯到高斯
4.求解方法，SVD vs. 正规方程
5.GLE vs. OLE
5.高斯马尔科夫理论

转载于:https://www.cnblogs.com/drunknbeard/p/10031263.html