基础数学1：最小二乘法的理解

基础数学1：最小二乘法的理解

（1）最小二乘法的含义：

         ①最小二乘法含义：

             最小二乘法通过最小化误差的平方和寻找数据的最佳匹配函数，因此最小二乘法也称为最小平方法。

             最小二乘法用来求得目标函数的最优值，也可用于进行曲线拟合解决回归问题。

         ②最佳拟合曲线的标准：

             1.标准1：最小残差和（弊端：存在正负互相抵消问题）；

             2.标准2：残差绝对值和最小（弊端：计算麻烦）；

             3.标准3：残差平方和最小（最小二乘法中应用的标准）。

 

（2）最小二乘法的推导：

         ①样本回归模型：

         ②其中误差为：

         ③平方和损失函数为：

         ④将、看作Q的函数，求函数极值的过程如下所示：

                       

                     

          ⑤求解方程组得：

                     

                    

（3）最大似然估计和最小二乘法：

          最大似然估计是一种给定观察数据来评估模型参数的方式，也就是“模型已定，参数未知”，通过若干次实验，利用实验结果的到某个参数值能使样本出现的概率最大。

          最小二乘法是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配，最小二乘法可以简便求得未知数据，并使这些求得的数据与实际数据误差平方和为最小。

          最小二乘法的核心是权衡，在很多条线中选择，选出距离最短的那条；而最大似然估计是相信自己观察到的就是事物的真相，最能体现事物的本质，并以此为基础进行运算。（这句话摘抄自知乎，非常赞同）