机器学习三种估计函数与误差度量

机器学习三种估计函数与误差度量

本文要对机器学习的三种估计函数：最大似然估计函数、最小二乘估计函数、最大后验估计函数展开讨论，最后再来讨论一下误差度量。

---

三种估计函数

在机器学习中，很多时候，一旦确定了模型的参数，那么模型就定下了，可以用来进行预测了。比如，最简单的线性回归算法，用一条直去拟合数据。回忆下初中数学，对于直线y = mx + c而言，一旦我们确定了m和c这两个参数，那么直线就定下来了(如下图)。之后，我们就可以用这条直线（线性回归模型）来预测新数据了。

所以，在选定了算法或者说是模型架构之后，关键就在于确定参数。确定参数有很多方法，比如最粗暴的可能是暴力搜索。而最大似然估计就是估计参数的一种方法。

最大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。