![](https://img-blog.csdnimg.cn/20191010151013622.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Pattern R. & Maching L.
此专栏专门针对机器学习圣经PRML中的内容创建。记录理论能力成长的一点一滴。
超级无敌小小顺利
计算机视觉
展开
-
概率图模型-知识结构
两周多,终于把概率图模型这一章看完了,由于只是看了知识框架,很多具体细节都还不理解。内容真的是好多啊,而且都是理论,没有实践。希望日后用到的时候能回忆的起来这些内容吧。...原创 2019-11-11 16:12:24 · 624 阅读 · 0 评论 -
隐马尔可夫模型HHM重要公式推导
我终于把HMM看完了,这些笔记都是看的过程中自己对推导过程写的注释,还有知识框架。原来卡尔曼和粒子滤波都是属于HMM模型里面的。笔记结构如下:1. HMM简介:知识体系 + “一个模型” + “两个假设” + “三个问题”2. Evaluation问题(给定参数求观测X):Forward算法、Backword算法原理3. Learning问题(求系统参数):EM / Baum Wel...原创 2019-10-22 17:35:31 · 2101 阅读 · 0 评论 -
相对熵 KL散度 (KullbackLeibler divergence)
这个属于香农信息论中的东西,在《PRML》书中1.6 信息论小节中有具体说明。真正碰到应用还是在洛桑联邦理工的POM文章中(概率占用图)。作者使用自己产生的估计Q来去逼近未知分布P,其中P是一个后验概率分布。这篇博文旨在明确KL散度的定义以及用途,以备后用。香农大神:KL散度是两个概率分布间差异的非对称性度量,是一些优化算法(例如最大期望算法EM)的损失函数,参与计算的一个概率分布...原创 2019-09-28 15:13:14 · 317 阅读 · 0 评论