机器学习基础——生成模型和判别模型

有监督学习方法可以再分为生成生成方法和判别方法

1.首先官方点的说法

生成模型，是去求出数据的联合概率分布，然后根据联合概率分布求出对应X的条件概率
$$P(y|x)=\frac{P(x,y)}{P(x)}$$
判别模型，是用数据学习决策函数，直接求出数据的条件概率

2.通俗理解

生成模型就是去求出每个类别的概率模型，然后对于X，计算X在每个类别中的概率，概率最大的是X的类别。

判别模型就是所有类别的数据放在一起，求出分割这些类别的决策边界。比如二分类问题，预测值大于0是正例，小于0是负例。

3.常见的模型

生成模型

朴素贝叶斯（Naive Bayes）
隐马尔科夫模型（HMM）
高斯混合机其他类型混合模型（GMM）
平均单依赖估计（AODE)
LDA主题模型（直接计算模型参数）
限制玻尔兹曼机（RBM）
贝叶斯网络（Bayesian Networks）
隐含狄利克雷分布（Latent Dirichlet Allocation）。

判别模型

梯度下降法
线性回归（Linear Regression）
逻辑回归（Logistic Regression）
支持向量机（SVM）
传统神经网络（Traditional Neural Networks）
线性判别分析（Linear Discriminative Analysis）
条件随机场（Conditional Random Field）
集成学习（boosting）
条件随机场（Conditional random fields）

两种方法的不同：

（1）生成方法优点：

生成方法可以还原出联合概率分布$P(X,Y)$，判别方法不能。
生成方法学习收敛速度更快，即当样本容量增加时，学到的模型可以更快的收敛于真实模型。
当存在隐变量时，仍可以用生成方法，但判别方法不能用。
-生成模型的假设性更强一些，因为通常是从后验分布的角度去思考问题，通常对x的分布做了一些假设
生成模型最大化联合对数似然函数
因为生成模型对于特征的分布都做出了一定的假设（如高斯判别模型假设特征分布满足多元高斯分布），所以如果对于特征的分布估计比较正确的情况下，生成模型的速度更好准确性也更高。依赖于假设的分布是否比较正确
-生成模型在训练数据的时候对于每一类数据的都是独立估计的（也就是每一类的参数不同），这也就说明如果有新类别加入的情况下，是不需要对原有类别进行重新训练的，每一类是独立的
-生成模型有一个大的缺点就是不能对特征进行某些预处理（如特征映射），因为预处理后的数据分布往往有了很大的变化。
（2）判别方法特点：

直接学习条件概率$P(Y|X)$或决策函数$f(X)$ ，直接预测，往往学习准确率更高
由于直接学习条件概率P(Y∣X) 或决策函数$f(X)$，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
最大化似然函数
以上内容有一部分自己的总结大部分转载自https://blog.csdn.net/jiaoyangwm/article/details/79805939
感谢！