生成模型与判别方法

监督学习的任务是学习一个模型，应用这个模型，对给定的输入预测输出。即求决策函数 $y =f(\mathbb{x})$ 或者 $p(\mathcal{C_k}\vert \mathbb{x})$

根据是否直接学习学习决策函数，可以分成判别方法和生成方法。他们对应的模型就是判别模型和生成模型。

1. 生成方法/模型

由数据学习联合概率分布 $P(\mathbb{x},\mathcal{C_k})$ ，然后由 $P(\mathcal{C_k}\vert \mathbb{x})=\frac{P(\mathbb{x},\mathcal{C_k})}{P(\mathbb{x})}$ 求决策函数

1.1 典型模型

朴素贝叶斯方法、隐马尔可夫模型

1.2 特点

生成方法可以还原出联合概率分 $P(\mathbb{x},\mathcal{C_k})$ ,而判别方法不能；生成方法的学习收敛速度更快，当样本容量增加的时候，学到的模型可以更快的收敛于真实模型；当存在隐变量时，仍可以利用生成方法学习，此时判别方法不能用。

2. 判别方法

由数据直接学习决策函数 $\mathcal{C_k}=f(\mathbb{x})$ 或条件概率分布 $P(\mathcal{C_k}\vert \mathbb{x})$ 作为预测模型，即判别模型。判别方法关心的是对于给定的输入 $\mathbb{x}$ ，应该预测什么样的输出 $\mathcal{C_k}$。

2.1 典型模型

k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场

2.2 特点

判别方法直接学习的是决策函数 $\mathcal{C_k}=f(\mathbb{x})$ 或条件概率分布 $P(\mathcal{C_k}\vert \mathbb{x})$ ，直接面对预测，往往学习准确率更高；由于直接学习 $P(\mathcal{C_k}\vert \mathbb{x})$ 或 $f(\mathbb{x})$，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。

更新(2016/12/30)

其中也有将判别方法分为判别函数与判别模型的，直接学习决策函数 $\mathcal{C_k}=f(\mathbb{x})$ 称为判别函数；判别模型通过学习 $P(\mathcal{C_k}\vert \mathbb{x}) = f(\mathbb{w}^T\phi(\mathbb{x}))$ 中的参数 $\mathbb{w}^T$，然后得到 $P(\mathcal{C_k}\vert \mathbb{x})$。

参考

1. 生成模型与判别模型-参考一

2. 生成模型与判别模型-参考二