机器学习笔记

1. 最大似然估计会系统性低估分布的方差，从而导致过拟合。设想样本来自高斯分布，我们希望从样本恢复分布（参数），最大似然估计给出的方差实际上是样本方差，是以样本均值为中心的二阶矩。样本均值虽然以真实均值为中心分布，但存在方差，由于以样本均值为中心的二阶矩小于以实际均值为中心的二阶矩，因此样本方差的期望小于实际方差，实际上前者比后者少了一个自由度。但是需要注意的是，我们说“过拟合”并不是指这种拟合或预测是错误的，而是指他们是“不合适”的，在简单的曲线拟合问题中，使用多个自由参数零误差拟合样本点是没有问题的，给出的预测的确是“似然概率最大”的结果，但其意义建立在两条几乎都不成立的假设之上——样本点无噪声以及参数等概率均匀分布。