Discriminative Learning (判别式学习）和Generative Learning（生成式学习）

• Discriminative Learning
  给定一个观测值x，判别式模型（discriminative model）是目标Y的条件概率，即$P(Y|X=x)$。

  举个例子：（猫狗分类）
  Try to find a straight line (decision boundary) that can separates the cats and dogs.
  寻找一个分类边界来将cats和dogs的数据分开。
  Check which side of the new data to classify.
  看test data落在分类边界的哪一边来分类。

  常见的判别式模型有：
  Logistic regression （逻辑回归）
  Non-model 算法，如（Perceptron）感知机、SVM

• Generative Leanring
  生成式模型（generative model）是X和Y的联合概率分布，即$X\times Y,P(X,Y)$。

  举个例子：（猫狗分类）
  Build a model of what cats looks like s.a. dogs.
  建立一个拟合cats的model，同样建立一个拟合dogs的model。
  Match the new data against the cats’ model s.a. dogs’ to see whether the new data looks more like the cats or dogs we had seen in the training set.
  我们可以将new data与cats模型进行匹配，并与dogs模型进行匹配，以查看更像哪个。

  常见的生成式模型有：
  Naive Bayes（朴素贝叶斯）
  Linear discriminant analysis （LDA）