我在网上发现了两种推导方式,于是自己跟着推导了一遍。。。。。
(一)(高数式推导):
参考博客
这里先引入两个提前推得出的结论:
之后就是推导过程了。。。。抱歉我写的比较潦草。。。。
最后一行写不开了我就省略掉了,最终就能求出中学时学到的的公式。
为什么呢,因为只有和a,b有关的项为零,差的平方和才会达到最小。
(二)(线性代数式推导)
参考知乎专栏
最直观最简单的推导方法是:
Theta就是表示我们要训练的权重
我的理解:
最小二乘法的目的在于寻找到合适的权重a和b,一般情况下a是向量,用差的平方和来表示拟合程度,因此,我们为了获得最优的拟合,就想办法让差的平方和最小,这就是我理解的最小二乘法。