这两个词语都是概率论中见的词语,乍一看没有什么联系。最近看了斯坦福的机器学习课程,其中有对于回归问题的均方误差函数的由来进行的仔细论述,我认为十分有意思,就写了博客来记录一下。
最大似然:简单来说,就是不断调整模型的参数,使已知发生的事件的概率是最大的。
正态分布密度函数: 12πσ√exp−((x−μ)22σ2) 其中 σ 代表标准差, μ 代表平均值。
对于一个回归问题,我们f(x)尽量的去拟合y。如果我们假设所有的误差都是服从正太分布的则有 f(x)=y+
ϵ
由于误差服从均值为0,方差为1的正太分布,因此所有样本的联合概率密度为
∏ni=112π√exp−((f(xi)−yi)22)
我们要最大化上述式子,等价于最小化
∑ni=1(f(xi)−yi)2
。 而它正是均方误差函数,也就是说我们在回归问题中用极大似然思想推导出了均方误差函数。
(注:连续型随机变量联合分布用密度函数来估计,离散型随机变量联合分布用概率来估计)