最小二乘法的原理讲解

在看RVFL神经网络的时候，在权值更新求解时，从隐含层到输出层的权重，是根据最小二乘法的原理更新求解的，那么最小二乘法是什么呢，今天来具体讲解一下。

最小二乘法：

假设有一系列数据值，D = {(x1,y2),(x2,y2),.....................,(xn,yn)},需要去找到一个函数f(x)=ax+b,使得f(x)的输出尽可能和y相近，那么此时最小二乘法，原理的关键就是根据预测值与真实值之间的方差最小的原则，于是得到

                                        

最小二乘法的原理就是让这个Q值最小时得到的a,b。

                                                           

根据这个公式发现这个式子中，只有a,b两个未知变量，那么对其求导可以得到Q最小时的a和b的值，即为以下公式：

                                                       

那么最小二乘法的原理就是利用模型得方差最小，不断求解得到RVFL中输出层的权值，进而求得网络。