最小二乘算法
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
在Python数据分析过程中,需要我们掌握最小二乘算法来解决一元、多元甚至是非线性的程序实现。
1.一元
变量x,y符合一元线性模型,并且(?1,?1), (?2,?2), (?3,?3)…., (??,??)是(x,y)的一组观测值。
对每个样本观测值(??,??),考虑??与其估算值?0 + ?1??的离差?? − (?0 + ?1??)考虑n个离差,定义离差平方和:
最小二乘法就是寻找参数?0、?1的估计值,使得离差平方和达到最小:
这样我们的问题就转换为求极小值,那么应该满足以下条件: