Maximum Likelihood(ML) 和 Maximum a posterior(MAP)的直观理解

ML和MAP在Pattern Recognition, Machine Learning这些领域绝对是超高频词汇, 这段时间琢磨了一下下, 写下点体会.

随便找个图，看着方便理解。引用自：http://www.r-web.com.tw/chart/step1.php?method=histogram

ML，极大似然法，说白了就是计数. 对于一堆我们可以观察到的数据x，每个数据有N个维度，选择其中一个, 假设是i, 进行计数. 就是数在第i维度下, 每一个数字各有多少个. 这个过程完了以后就可以得出这组数据的概率分布了。

这时候如果把概率分布密度图画出来, 就会发现有一个地方存在最大值, 那个值就是极大似然，如上图，3.0的位置就是极大似然值。

MAP，极大后验法，其实也是计数，但是在计数之前给定一些值一些数，即是先验概率。所以先验有强弱之分，强的先验不容易受到likelihood的影响，弱的先验容易受到likelihood的影响。这里的likelihood就是通过对数据计数得到的分布。

但是, 我们其实希望用更简单的方式来描述这组数据, 方便以后看到新数据时进行分析, 要是把整个分布存下来就太蠢了. 

所以通常我们用gaussian distribution来近似计数出来的这组分布。因为如果存下整个分布要费大量内存，计算时也不方便，关键是不好推广一般化啊。如果用高斯分布近似，只需要存下均值，方差两个数，省事多了。