机器学习-白板推导系列笔记（三十）-生成模型综述

此文章主要是结合哔站shuhuai008大佬的白板推导视频：生成模型综述_109min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、定义

从概率分布的角度考虑，对于一堆样本数据，每个均有特征$X_i$对应分类标记$y_i$。

生成模型：学习得到联合概率分布$P(x,y)$，即特征$x$和标记$y$共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制，关注的时样本分布的本身。

判别模型：学习得到条件概率分布$P(y|x)$，即在特征x出现的情况下标记$y$出现的概率。

数据要求：生成模型需要的数据量比较大，能够较好地估计概率密度；而判别模型对数据样本量的要求没有那么多。

简单的说，生成模型是从大量的数据中找规律，属于统计学习；而判别模型只关心不同类型的数据的差别，利用差别来分类。

生成式模型：

朴素贝叶斯
混合高斯模型
隐马尔科夫模型(HMM)
贝叶斯网络
Sigmoid Belief Networks
马尔科夫随机场(Markov Random Fields)
深度信念网络(DBN)

判别式模型：

K近邻(KNN)
线性回归(Linear Regression)
逻辑回归(Logistic Regression)
神经网络(NN)
支持向量机(SVM)
高斯过程(Gaussian Process)
条件随机场(CRF)
CART(Classification and Regression Tree)

二、监督VS非监督

分类、回归、标记、降维、聚类、特征学习、密度估计、生成数据

$$\{\begin{array}{c}监督\{\begin{array}{c}概率模型\{\begin{array}{c}判别模型（p(Y|X)）：LR,MEMM,CRF\\ \\ 生成模型\end{array}\\ \\ 非概率模型：PLA,SVM,KNN,NN,TreeModel\end{array}\\ \\ 非监督\{\begin{array}{c}概率模型：生成模型\end{array}\end{array}$$