Discriminative Learning和Generative Learning的总体区别

Discriminative 学习算法是一类模型化输入（X）输出（Y）的关系的方法。Discriminative Learning要求X的各个项是相互独立变化的。只需了解Ｘ对Ｙ的决定关系，即model Ｐ（Ｙ｜Ｘ）．学习的结果就是X参数所决定的Y参数。

Generative学习算法倒过来，是一类描述输出或中间参数（Y）产生输入参数（X）的概率的方法。需要的结果是其实也是model P(Y|X)，只不过是看X属于哪个Y几率更大就属于哪个Y。但这里不直接使用P（Y | X），因为这可能非常复杂，或者统计出来的结果没有明显意义，例如model 在give 一个X=吸烟的人，Y得肺癌的几率。而是model P(X|Y)，就好像在得肺癌的人里面看吸烟人的情况。我们都知道吸烟的人数亿亿计，但得肺癌的人逼近是少数，model 从得肺癌的人出发，更加容易，比如10万个得肺癌的，抽样1000个就差不多了。 Generative的算法考察X的每个项对Y的概率分布情况，即P(Y|{x1,x2,x3...xn})，需要考察P(x1|Y)...P(xn|Y)......

  总之，直接计算 P(Y|X)的算法就是Discriminative Learning；通过 P(X|Y) 和 P(Y) 间接计算得到 P(Y|X) 的就是 Generative Learning。   

参考：

http://hi.baidu.com/fandywang_jlu/blog/item/c3dc9bec32ad2223269791ad.html