最大后验与最大似然

最大后验与最大似然

P(x|z) = P(z|x)P(x)/P(z) ~ P(z|x)P(x)
贝叶斯法则左侧P(x|z)通常被称为后验概率，右侧P(z|x)称为似然，P(x)称为先验．直接求后验分布是困难的，但是求一个状态最优估计，使得在该状态下后验概率最大化（MAP)则是可行的．

xmap = arg maxP(x|z) = arg maxP(z|x)P(x)

求解最大后验概率相当于最大化似然和先验的乘积．如果没有先验，即没有先验的位置信息，此时就没有了先验，那么，可以求解ｘ的最大似然估计（MLE)

xMLE = arg maxP(z|x)

直观讲，似然是指，＂在现在的位资下，可能产生怎样的观测数据＂．由于我们知道观测数据，所以最大化似然估计可以理解成：＂在什么样的状态下，最可能产生现在的观测到的数据＂．这就是最大似然估计的直观意义．

最大似然和残差平方和最小．

假设残差服从正太分布．最大似然的解（即参数的估值）就等于所有观测值残差平方和最小．
其证明就是假设残差服从正太分布

最大化似然，残差服从正太分布，求其最大，即求其最小化负对数．解的，当残差平方和最小时，负对数最小，即最大化似然．因此当残差服从正太分布时最大化似然的准则即为残差平方和最小．

见https://blog.csdn.net/The_lastest/article/details/82413772

最大似然和最小二乘的关系．

最小二乘是以残差平方和最小为准则的参数估计方法．
因此最小二乘估计等价与当残差服从正太分布时的最大似然估计．
求解最小二乘问题其实都是在求最大似然估计．