ML和MAP在Pattern Recognition, Machine Learning这些领域绝对是超高频词汇, 这段时间琢磨了一下下, 写下点体会.
随便找个图,看着方便理解。引用自:http://www.r-web.com.tw/chart/step1.php?method=histogram
ML,极大似然法,说白了就是计数. 对于一堆我们可以观察到的数据x,每个数据有N个维度,选择其中一个, 假设是i, 进行计数. 就是数在第i维度下, 每一个数字各有多少个. 这个过程完了以后就可以得出这组数据的概率分布了。
这时候如果把概率分布密度图画出来, 就会发现有一个地方存在最大值, 那个值就是极大似然,如上图,3.0的位置就是极大似然值。
MAP,极大后验法,其实也是计数,但是在计数之前给定一些值一些数,即是先验概率。所以先验有强弱之分,强的先验不容易受到likelihood的影响,弱的先验容易受到likelihood的影响。这里的likelihood就是通过对数据计数得到的分布。
但是, 我们其实希望用更简单的方式来描述这组数据, 方便以后看到新数据时进行分析, 要是把整个分布存下来就太蠢了.
所以通常我们用gaussian distribution来近似计数出来的这组分布。因为如果存下整个分布要费大量内存,计算时也不方便,关键是不好推广一般化啊。如果用高斯分布近似,只需要存下均值,方差两个数,省事多了。