模式识别与机器学习

    本系列中的全部博客及相关文档均来自于自己在本科四年级阶段对《Pattern Recognition and Machine Learning》一书所做的翻译及笔记。仅作督促自己的学习之需，欢迎交流指导，谢绝分享转载。如涉及版权问题，版权归原作者及出版商所有。

    

前言

    模式识别起源于工程应用，然而机器学习却是从计算机科学中发展而来。尽管如此，这些工作可以看作是同一领域的两个侧面，而且它们均在近十年内经历了长足的发展。尤值得一提的是，贝叶斯方法从一个少数人的研究方向逐渐发展为主流，同时图模型已作为一种通用框架被广泛地使用在概率模型的描述及应用中。另一方面，贝叶斯模型的实际应用能力随着大量的诸如变分贝叶斯（variational Bayes）和期望传播（expectation propagation）算法近似推理算法（approximateinference algorithms）的不断发展而有了大幅的提高。近似地，基于kernels的新模型在算法及应用中均产生了重大的影响。

    本书在反映了这些近期成果的同时对模式识别与机器学习领域进行了综合的介绍。本书假设读者并不了解模式识别与机器学习的相关概念，因而适合高年级的本科生，博士一年级学生，相关研究人员以及从业者进行阅读。但是，要求读者应当具备多元微积分以及基础线性代数的知识储备，假如掌握了概率论的知识将是非常有帮助的。本书中包含了部分对概率论理论的介绍，所以这一部分的知识储备并不是必须的。

    因为本书内容涉及到的范围较广，所以不可能完整的将参考文献列举出来，书中并没有尝试去提供思想发展的历史脉络。作为替代，我们试着去给出包含了更多细节的资料作为参考文献，其可以作为切入点去查阅到更多的相关文献。正是因为这个原因，文章的参考文献多是近期出版的刊物及论文，而不是原始资源。

练习

    出现在每一章节最后的习题是本书的重要组成部分。每一道习题均经过了精心的挑选，用于巩固正文中所介绍的概念或是以一种有意义的方式对他们进行延伸和归纳。我们对每道题目根据其难度进行了打分，从★（标注比较简单，几分钟内可以完成的题目）到★★★（标注更加复杂的练习题）。

    很难把握答案应当在多大的范围内进行传播。投身自学的读者会发现获得答案非常有帮助，然而课程教师们要求答案应只能通过出版商才可以获得，这样课后习题表可以在课堂使用。为了试图去迎合这两种矛盾的要求，部分有扩充文中知识点或补充细节作用的习题可以从图书官网获得答案的pdf文件。这样的习题被标注为WWW。剩下的习题可以由课程老师联系出版社获取（联系的细节在图书的官网上给出）。特别建议读者独立完成习题，仅在又要求的情况下再求助于答案。

    尽管本书专注于概念和原理，在一节课时中最好有机会利用合适的数据集对关键的算法进行试验。本书的姊妹篇（Bishop and Nabney,2008）将会从实际应用的层面对模式识别及机器学习进行介绍，并且利用Matlab软件对本书中介绍的大部分算法进行测试。