prml第一章笔记

一、举了个多项式拟合数据的例子

二、概率理论

三、模型选择：交叉验证

四、维度灾难

五、决策理论：

1. 生成模型（利用联合概率）
2. 判别模型（利用条件概率）
3. 判别函数（比如crf实现里的特征函数）

    三者的优缺点：

1.      方法1是求联合概率，它需要大量的数据才能达到合理的精度。但是它对于检测模型中低概率的数据点很有用。
2.      方法2是求条件概率。如果我们只想进行分类的决策，使用方法2。但是为了求出它，需要大量的数据来寻找联合概率。事实上，类条件密度可能包含很多对于后验概率集合没有影响的结构。但是使用条件概率可以利用一些东西：1、最小化风险2、拒绝项3、补偿类先验概率4、组合模型
3.     方法3是使用判别函数直接将x映射到类别。

关于联合概率和条件概率的分析见：

《Principled hybrids of generative and discriminative models》Lasserre 2006

《Machine Learning:Discriminative and Generative》Jebara 2004

六、信息理论：相关熵和互信息