最小均方误差和最小二乘法的关系

均方误差等于方差加上偏差的平方，当估计量无偏时，均方误差等于方差。所以，当满足最小二乘法条件且估计量是无偏估计量，那么求最小均方误差等价于最小二乘法。

均方误差可以看作是加权的最小二乘法，其中的权值表示概率。
所谓无偏，就是我们认为每个样本点出现的概率和真实模拟的数据中样本点出现的概率是一样的。当概率相等即无偏时，我们认为两者等价。

最小二乘法针对的是有限的数据量的概念，而最小均方误差是针对无限数据量的一个概念。最小二乘方法（LS）是最小均方误差（LMSE）在有限个观测值时的时间平均近似，或者说，当观测样本数趋于无穷大时，最小二乘估计将逼近最小均方误差估计。

最小二乘法基于矩阵求解，最小均方误差基于概率统计求解。

从思想的角度来理解，最小二乘法实质上是极大似然估计，是对未知模型的估计；而最小均方误差是对已知模型的参数估计，类似贝叶斯决策。