MMSE(最小均方误差和LS(最小二乘)有什么区别？

MMSE 和 LS的最大区别在于！！！MMSE解决的问题是模型已知，参数未定的问题。 而 LS解决的是模型未知， 参数未定的问题！！！！！***这两个东西就不是用来解决同一类问题的

MMSE和均值有关，求均值就一定要知道确切的分布，而不是经验分布, 因此想要求解MMSE，如果你不知道后验概率模型，请问你该如何求解？？求不了的！
MMSE的求解一定是完全已知参数的概率分布，才能求解。求MMSE的过程只不过是个计算的过程，因为模型已知，你不需要关注模型是否是合适的，均值就直接求就行了。

而LS的求解过程，是个回归的过程，也就是说，不光你要在乎cost function的大小，你还要关心你模型的好坏。 首先你自己蒙一个函数关系，而后用实验数据带入自己建立的模型中，得到 x_predict，而后计算cost function的值的大小。 你完全不需要知道x的概率分布，也不需要求什么mean。你唯一在乎的就是你从cost function。 大就是不行，小就是牛b。再说一遍，这两者之间的不同的重点在于！ 模型是已知还是未知。 如果未知，你就要给出一个模型，而后计算J。通过最小化J来找参数的值。如果是已知，你就直接求mean，就直接得到来MMSE。

作者：Allen
链接：https://www.zhihu.com/question/27200164/answer/1181818191
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。