最小二乘,最大似然,都带有最字,那他们之间有什么关系呢?
一.最大似然
定义:
最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法.
最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树
通俗的认为,多次观测到的结果就是可能发生的结果,也就是观察样本概率最大的参数就是整体
分布的参数
简单的理解一下它的原理:
总的来说,最大似然就是你已经知道一个结果,反推这个出现这个结果最大的原因
公式
二.最小二乘法
定义:
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达
公式的推导计算: