最小二乘法和线性回归

 

我们知道，在做数学题的时候，解未知数的方法，是给定自变量和函数，通过函数处理自变量，以获得解。而机器学习就相当于，给定自变量和函数的解，求函数。类似于：这样：function（x）=y

机器学习就是样本中有大量的x（特征量）和y（目标变量）然后求这个function。

求函数的方法，基于理论上来说，大部分函数都能找到一个近似的泰勒展开式。而机器学习，就是用数据去拟合这个所谓的“近似的泰勒展开式”。

 

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小

 

为什么使用差的平方和：

（1）用“残差和最小”确定直线位置是一个途径。但可能会出现计算“残差和”存在相互抵消的问题。
        （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
        （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

 

多元线性拟合的推导：

https://www.cnblogs.com/wangkundentisy/p/7505487.html