PRML笔记：模式识别与机器学习

http://blog.csdn.net/pipisorry/article/details/51011724

统计学习方法-李航（适合快速入门）。

PRML： Pattern Recognition and Machine learning 机器学习和模型识别的必读书。

[PRML笔记-Notes on Pattern Recognition and Machine Learning.pdf]

[知乎pattern recognition and machine learning这本书怎么看？]

ESL（适合进阶,更详细系统的统计学习的知识The Elements of Statistical Learning）。

Part I 基本概念和基础知识

1.Introduction

介绍了概率论，区分了经典概率论（frequentist）和 Bayesian理论

Model Selection

Decision Theory

Information Theory

2.Probability Distribution 

简单的讲解了概率分布，重点是Gaussian Distribution，后面章节会被广泛应用，而且也是统计学习的基本假设。

Part II  3\4章讲线性模型   

3.Linear Models for Regression

3.1 常用的least squares的方法，亮点是它和Maximum likelihood的关系

4.Linear Models for Classification

4.1 Discriminant Function

重点讲到Fisher LDA

4.2 Probabilistic Generative Models
4.3 Probabilistic Discriminative Models

重点讲到Logistic Regression。很有意思的是，Logistic Regression虽然名字是Regression， 确是分类的方法

4.4 The Laplace Approximation
4.5 Bayesian Logistic Regression

Part III 5\6\7章讲非线性模型

5. Neural Network

这本书提到的神经网络是很早以前的内容，不涉及Deep Learning。书中有些方法和理论已经有点过时了，想要更好地学习神经网络以及深度网络，找一些更新的书来看

6. Kernel Methods

RBF Kernel 和 Gaussian Processes

7. Sparse Kernel Methods

重点是SVM（Support Vector Machines）和 SVR

Part IV  8\10\11\13章讲基于图模型的理论

8. Graphical Models

非常火热的model

10. Approximate Inference

11. Sampling Methods

13. Sequential Data

重点讲到HMM（Hidden Markov Models）

Part V 从概率模型的latent variables观点

9. Mixture Models and EM

latents variable 是 discrete

讲Clustering的方法。 K-Means， Guassian Mixture 以及 EM算法

12.  Continuous Latent Variable

latents variable 是 continuous

PCA （Principal Component Analysis）及其变种

Part VI 

14.  Combining Models

Tree Models: Boosting, Bootstrap

from: http://blog.csdn.net/pipisorry/article/details/51011724

ref: