PRML阅读笔记

1.最前面

作为一个搞机器的人，因为毕设的需要，接触了图像处理和机器视觉的知识。渐渐地发现，只会一些最基本的图像处理的知识，是没有资格谈论这门学科的。在研一的时候，被推荐这本书，由于当时接触的模式识别和机器学习的知识并不多，凭着自己的兴趣在学习。当时这本书还是一本英文书，很多词汇即使翻译成中文也不知所云，于是读读停停，读到第七章稀疏向量机，再也读不下去了。前面几章的东西也忘记的厉害，最后只得作罢。

在工作之后，由于对现在工作的方向不太满意，总寻思着能够换回原来的方向，于是捡起了这本书，啃过完全不知所云的图模型，来到第九章EM算法，第十章近似推断，发现这两章开始试图将前面的知识做高屋建瓴的融合时，我明白了，这的确是一本好书。尽管下一张采样方法初读时仍是云里雾里，但是捱过之后就是我比较熟悉的PCA和ICA。下一章HMM是N多最新领域研究热点，似乎高峰上的白雪皑皑的顶尖折射最亮丽的阳光就在我的眼前。我终于在工作不到半年之后（2016.01.06）强行刷到最后一章。

有意思的是，在工作之后，我利用晚上回来的时间，周末的时间把这本书读完了，这在我研究生两年期间都没有做到的事情我居然做完了。想到室友当时说，你真宅，周末也不出去玩玩。现在我终于可以笑一笑了。

诚然，也许我再也不可能换回原来的方向，想想也许是有点伤感，但回过头来想，这本书，你真的读透了吗？我心里十分清楚，图模型和采样方法那两章读到最后什么操行我是非常没有底气的。而且整本书回过头来想想，似乎也没有什么头绪。

于是年前年后接把之前看的云里雾里的图模型、采样方法以及觉得很牛但是说不出所以然的变分近似三章刷了一遍。紧接着在最近十多天又把书从第二章刷到第十三章HMM，准备找工作了。我知道前面仍是一片沼泽，也许我没有出路。

我找到一份模式识别的工作了，总体来说，还算不错。

2.PRML框架（一）——MLE到MAP坎坷之路

机器学习和模式识别的几乎所有解决的问题，就两件事：建模与优化。

而这本被称作殿堂级的宝书从来到尾都是在做贝叶斯脑残粉的事情。整本书基本上就一个模型，频率学派眼中的极大似然估计（MLE）和贝叶斯学派钟爱的极大后验分布（MAP）。尽管第七章支持向量机（SVM）并不是属于这一类，但相关向量机（RVM）仍是贝叶斯方法的体现。除了最后一章组合模型和第八章图模型属于比较通用的部分外，整本书的模型就是MLE之后MAP。即使是神经网络（NN）也被纳入到了贝叶斯方法之内。

下面根据这个框架，理清这本书的结构安排：

第一章，机器学习的基本概念。这一章的知识其实属于比较重要