一、什么是最小二乘法
最小二乘法在生活中的例子:
拿测一个人的身高为例,现实生活中我们无法用测量仪器完全准确地测得一个人的身高,相应地,用任何仪器测量都会存在误差。当然,我们求某人的身高时也不需要完全准确,我们只要使误差在一定范围之内就行了。比如我们生活中并不认为1.831米和1.832米身高的人有什么区别。但是我们会觉得1.83米的人和1.85米的人有所差别,比如很多女生会更喜欢身高为后者的男生,因而我们要把测量身高的误差控制在0.01米以内。这里我们用v代表误差。
那么这就引出了一个问题,如何来降低误差。
很直观的想法就是去求样本的平均数,比如测五次同一个人的身高,求五个样本的平均数,然后就认为这个平均数就是这个人的身高。那么问题来了,为什么要用算数平均数,而不是中位数、几何平均数还有调和平均数之类的。
要解决这个问题,首先我们得假设一个值就是这个人的准确身高。比如我们假设某个值y就是身高的准确值,那么误差v就是 |y-yi| ,(yi代表样本,就是每次的身高测量值)(如下图)
黑色直线长度即代表误差大小,既然是长度,那就是一个绝对值,但由于|y-yi|不方便计算,故而直接用平方来代表这个误差,误差为(y-yi)^2,总误差v即所有样本误差之和,因此最小二乘法的目标就是求出使总误差v尽量小的y。
要求总误差v的最小值,我们对v求导,使导数为0,此时对应的y恰好就是样本yi的算数平均数。