- 最大似然估计会系统性低估分布的方差,从而导致过拟合。设想样本来自高斯分布,我们希望从样本恢复分布(参数),最大似然估计给出的方差实际上是样本方差,是以样本均值为中心的二阶矩。样本均值虽然以真实均值为中心分布,但存在方差,由于以样本均值为中心的二阶矩小于以实际均值为中心的二阶矩,因此样本方差的期望小于实际方差,实际上前者比后者少了一个自由度。但是需要注意的是,我们说“过拟合”并不是指这种拟合或预测是错误的,而是指他们是“不合适”的,在简单的曲线拟合问题中,使用多个自由参数零误差拟合样本点是没有问题的,给出的预测的确是“似然概率最大”的结果,但其意义建立在两条几乎都不成立的假设之上——样本点无噪声以及参数等概率均匀分布。
机器学习笔记
最新推荐文章于 2020-08-09 17:04:15 发布