PRML学习心得：Chapter1—Introduction

PRML学习心得：Chapter1—Introduction

---

本章主要介绍了机器学习的3种重要理论：概率理论（Probability Theory）、决策理论（Decision Theory）以及信息学理论（Information Theory），并根据多项式曲线拟合这一实例引出了解决机器学习的一般流程，包括模型选择（Model Selection）、过拟合（overfitting）以及维度灾难等问题。

---

概率理论（Probability Theory)

概率理论中最为基本的两大定理：加法定理与乘法定理，

几乎所有复杂的概率理论都是基于下面这两个式子推导出来的，因此一定要深刻理解式子的含义。而我自认为概率理论在PRML一书中也算是最难理解的部分了。
加法定理：

$$p(X) = \sum_Yp(X, Y)$$
乘法定理： $$p(X, Y) = p(Y|X)p(X)$$

---

贝叶斯定理（后验分布的求解）

这是贯穿PRML一书中另外一个重要的定理， 其原理很简单：posterior ~ likelihood * prior，可以用如下式子来表示：

$$p(Y|X) = \frac{p(X|Y)p(Y)}{p(X)}$$
$$p(X) = \sum_Yp(X|Y)p(Y)$$