PRML入门小生一枚,属于后知后觉的那类,所以看这种书特别慢,前四章特别重要,到现在是第三遍在看了,今年一定要把前四章吃透!当然进度也很重要ToT...
对PRML不熟悉可能有这么几个原因:
①对概率论一些本质问题没有弄清楚
②对一些概念没有弄清楚就跳过去
③死磕在一些问题上卡壳
④智商问题...
ⅠIntroduction
1、关于频率学派和贝叶斯学派,今天在这章看到了一个观点:
In Frequentist:a fixed parameter,possible data sets D
In Bayesian:the uncertainty in the parameters is expressed through a probability distribution over w,only a dataset D
体会到了重复试验和从一次经验中提取的概率区别,sets和set的区别
2、关于最大似然估计的思想和在PRML中的地位和限制:
一般来说,我们用参数去估计观察值,而似然估计是用观察值去估计参数
"Later in this chapter,and also in subsequent chpters,we shall highlight the significant limitation of the maximum likehood approach."
3、关于高斯分布在PRML中的地位:
"We shall make extensive use of this distribution in the remainder of ths chapter and indeed throughout much of the book."
4、关于平时看到论文和书中经常提到的“可解释性”(Interpretative):
就是要让分类直接的差距越大越好
5、好的模式识别应具备两个特点:
①较低维度但可以做出更好的区分
②平滑
Ⅷ Graphical Models
1、关于联合概率
①在图模型中,我们认为一个节点只和它的直接前驱有关系,这样就可以大大简化分析的过程。用这种思维,我们只需要考虑每个节点以及父节点之间的概率关系,最终生成联合概率。
②联合概率是信息最丰富的概率,在里面可以找到任何你想要知道的节点时间发生可能性(因为枚举了大多数)
③概率一直都不是凭空产生而是基于现实事件发生的可能性,形成一部分先验知识,继而得到先验概率。
④概率产生模式和判别模式
⑤边缘概率分布
2、关于概图模型的计算(Inference指的是计算)
①枚举法(Enumeration)
思想:将所有情况按顺序列举
优点:概率是精确无误的
缺点:往往计算复杂度高(当贝叶斯网络足够复杂时,未必能够算出来);枚举法只适合离散而非连续
②消元法(Variable Elimination)
思想:传统的展开是自顶向下,那么类似递归总会有一些重复计算的项,怎么解决?我们采用自底向上的方式层层合并,直到根节点
优点:由于减少了部分重复计算而一定程度上降低了复杂度
缺点:有一定提高,但仍然麻烦
③无关变量法(Irrelevant Variables)
思想:无关变量不算在内
④使用采样思维(Sampling)
⑤拒绝式采样(Rejection Sampling)
⑥蒙特卡洛方法(MCMC)
思想:也是采样,但是通过这个直接生成后验分布,;有论文证明经过N次迭代后可以到达的一个状态