本文总体结构如下:
一、线性模型(for回归)
二、判别分类模型
三、生成分类模型
一、线性模型(for回归)
1、线性回归
举例:房价问题与坐标和面积有关
那么预测的线性回归模型如下:
X是一个二维的输入(面积,位置),y表示输出(房价)。
那么损失函数如下,其中i表示第i个样本,N表示样本总数
利用梯度下降,对w进行求导
对于单个训练样本的参数更新公式如下:
2、概率假说
假设误差服从一定的分布,比如常见的高斯分布
那么对w求极大似然
最大化似然函数就是最小化如下公式:
也就是我们在第一部分所展示的损失函数。
二、判别分类模型
逻辑回归
对于两类的分类问题,y是标签(0或1)
那么后验概率可以写成:
也就是我们所说的sigmoid函数,图像如下:
它所解决的是分类问题,参数估计的证明如下:
生成分类和判别分类的对比
- 判别分类:对后验概率建模或直接学习判别函数。计算P(Ck | x):例如逻辑回归。计算判别函数:例如感知器,SVM。假设判别形式,而不是密度。
- 生成分类:显式或隐式建模输入和输出的分布。假设一个关于类别条件概率密度p(x | Ck)的模型。 根据数据估算p(x | Ck)和P(Ck),然后应用贝叶斯规则计算后验概率P(Ck | x)。根据P(Ck | x)执行最佳分类。
三、生成分类模型
1、高斯判别分析GDA
通过对数据的分布进行建模,估计出模型的参数,假设一组数据服从多维正态分布
那么所求的参数就是
以上即求得参数,
不妨做这样的想象,如果我们把逻辑回归中的w看作是GDA中的参数,那么我们可以把逻辑分类模型,看作是求数据的分布。
GDA模型作出了强假设,对数据更加有效,更加依赖于数据的分布。
而逻辑回归的假设较弱,模型更加自由,并且对于偏离建模假设的情况更健壮。