生成学习算法
高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Learning Algorithms),而之前的属于判别学习算法(Discriminative Learning Algorithms)。
它们的主要区别是:
判别学习算法是直接训练出p(y|x);
生成学习算法是分别训练出各个类别的概率模型,之后再用Bayes公式算法出p(y|x);
通俗的说,判别模型是通过训练样本训练出一个模型,再用测试点x带入这个模型,最后算出x的可能类别;而生成学习模型是通过训练样本训练出各个类别的多个模型,再将预测点x分别代入不同类别的模型中,进而判断x到底属于哪个类别(一般就看代入后那个模型的概率大就认为x是哪一类,当然也有例外)。