【机器学习-斯坦福】学习笔记5 - 生成学习算法

生成学习算法

本次课程大纲：

1、 生成学习算法

2、 高斯判别分析（GDA，Gaussian Discriminant Analysis）

-          高斯分布（简要）

-          对比生成学习算法&判别学习算法（简要）

3、 朴素贝叶斯

4、 Laplace平滑

 

复习：

分类算法：给出一个训练集，若使用logistic回归算法，其工作方式是观察这组数据，尝试找到一条直线将图中不同的类分开，如下图。

之前讲的都是判别学习算法，本课介绍一种不同的算法：生成学习算法。

 

1、 生成学习算法

例：对恶性肿瘤和良性肿瘤的分类

除了寻找一个将两类数据区分的直线外，还可以用如下方法：

1)       遍历训练集，找到所有恶性肿瘤样本，直接对恶性肿瘤的特征建模；同理，对良性肿瘤建模。

2)       对一个新的样本分类时，即有一个新的病人时，要判断其是恶性还是良性，用该样本分别匹配恶性肿瘤模型和良性肿瘤模型，看哪个模型匹配的更好，预测属于恶性还是良性。

这种方法就是生成学习算法。

 

两种学习算法的定义：

1)       判别学习算法：

-          直接学习p(y|x)，即给定输入特征，输出所属的类

-          或学习得到一个假设hθ(x)，直接输出0或1

2)       生成学习算法：

-          对p(x|y)进行建模，p(x|y)表示在给定所属的类的情况下，显示某种特征的概率。处于技术上的考虑，也会对p(y)进行建模。

-          p(x|y)中的x表示一个生成模型对样本特征建立概率模型，y表示在给定样本所属类的条件下

例：在上例中，假定一个肿瘤情况y为恶性和良性，生成模型会对该条件下的肿瘤症状x的概率分布进行建模

-          对p(x|y)和p(y)建模后，根据贝叶斯公式p(y|x) = p(xy)/p(x) = p(x|y)p(y)/p(x)，可以计算：p(y=1|x) = p(x|y=1)p(y=1)/p(x)，其中，p(x) = p(x|y=0)p(y=0) + p(x|y=1)p(y=1)

 

2、 高斯判别分析GDA

GDA是一种生成学习算法。

 

GDA的假设条件：

1)       假设输入特征x∈Rⁿ，并且是连续值。

2)       假设p(x|y)满足高斯分布