<<模式识别与机器学习 (Pattern Recognization and Maching Learning)>>(PRML) 总结

$\quad$Bishop 的《模式识别与机器学习》(Pattern Recognization and Maching Learning)，简称为PRML，被认为是贝叶斯方法的扛鼎之作。在科研之余，花了半年时间，我现在算是把这本书通读了一遍并且也把各个章节的习题几乎完成了一遍，各章练习题解答可见我的博客-练习题解答，各章章节小结可见我的博客-章节小结。作为看完这本书最后一个环节，我想为我看完这本书做一个总结。总结分为如下几个部分，分别是阅读此书可以采取的方法，极大似然法和贝叶斯法，本书各章小结。

一：阅读此书可以采取的方法

$\quad$(1)：I：可以首先看目录，大概了解一下本书中各个章节主要讲的是什么内容，比如从第三章到第七章介绍的都是用于回归(regression)与分类(classification)的一些基本模型；同时也可以看一下章节与章节之间是否有无联系，比如说第六章提到了 kernel method，紧接着第七章就用到了 kernel ，这样第六章与第七章就可以形成一个整体来看；

$\quad \quad \ \ $II：当具体看各个章节内容时，不要希望一遍就能看懂，可以静下心来多看几遍，第一遍看时可以不求甚解，只是了解一下这章大概讲的是什么内容以及具体的逻辑思路，非常多的章节采取的逻辑思路都是：先介绍模型，然后介绍极大似然法，最后介绍贝叶斯方法(先推理后预测)；

$\quad\quad\ \ \ $III: 第二遍第三遍看时，着重理解作者在讲什么，碰到不懂的数学推导不需要过多纠结，可以先暂时忽略，毕竟这属于细节，重在理解内容；最后的话再纠结数学推导，书中提到的数学推导最好要会推导，特别是刚开始看的时候一定要亲自动手推导，因为 PRML 这本书涉及到了非常多的数学推导，如果刚开始不注重数学推导，可能越往后面看由于繁杂的数学推导就越没有动力看了；

$\quad$(2)：课后习题：事实上，章节内容中碰到的数学推导在课后习题中几乎都会遇到，因此可以通过做课后习题来熟悉掌握章节内容中的数学推导并且以此提高自己的数学推导能力。同时做课后习题还有一个重要的原因是通过做习题，边做边思考，可以进一步提高自己对书中知识点的理解。因此就我个人而言，我认为各个章节后的习题还是很有必要做的，反正网上有 PRML 这本书课后所有习题的解答集，不会做的话可以参阅这本解答集；

$\quad$(3)：关于本书数学这一部分：其实这本书所要求的数学知识也就是我们在大一时所学的微积分，概率统计和线性代数，并且这本书中所要求的数学知识几乎都能够在书后的附录中找到，所以说该书的数学部分达到了相当高程度的自洽。刚开始看的时候可能会觉得书中的数学推导有点复杂，但如果刚开始看的时候能够静下心来进行数学推导并且课后习题能够认真完成的话，反而是越看到后面章节越会觉得数学那一部分不会构成太大的障碍，因为后面章节用到的大部分数学知识点以及数学推导技巧(trick)在前面章节中就遇到了。

二：极大似然法和贝叶斯法

1：极大似然法和贝叶斯法的本质不同

$\quad$在极大似然法中，我们将模型参数看做是具有确定值的一组参数，因此我们需要做的就是通过最大化似然函数对模型参数做出点估计(point estimate)；

$\quad$贝叶斯法是将模型参数看成变量，在观察到数据集之前，我们先假设模型参数具有一个概率分布，称之为先验分布(prior distribution)，这个代表了我们在观察一个事物之前对该事物的先验认知；有了数据集后，我们运用贝叶斯公式获得模型参数的后验分布(posterior distribution)，这一步骤可以理解为通过观察我们调整了对该事物的先验认知从而获得了更加准确的后验认知；

$\quad$千万不要以为用到了贝叶斯公式的方法就是贝叶斯方法，贝叶斯方法中最核心的是把模型参数看做是变量，没有把模型参数看做是变量的方法是不能算作贝叶斯方法的。

2：本书应用极大似然法和贝叶斯法的具体步骤

1)：本书应用极大似然法的具体步骤

$\quad$(1)：构造数据集的似然函数 $p(X|\vec{\theta})$ (如果数据集中数据点被假设是独立且全同分布(i.i.d)，则将各数据点对应的概率分布相乘即得到似然函数)；

$\quad$(2)：将似然函数取负ln，即得到误差函数 $E=-\ln{p(X|\vec{\theta})}$ (结合实际情况，有时候需要在误差函数后面添加一些其他项，比如正则化项)；

$\quad$(3)：通过最优化算法最小化误差函数 E，得到误差函数 E 全局最小值或局部最小值所对应的模型参数 $\vec{\theta}$ 最优值；

$\quad$(4)：将上述获得的模型参数 $\vec{\theta}$ 最优值带入模型中做预测。

2)：本书应用贝叶斯法的具体步骤

$\quad$(1)：先假设模型参数 $\vec{\theta}$ 的先验分布(prior distribution) $p(\vec{\theta}|\vec{\alpha})$，其中参数