监督学习

本文总体结构如下：

一、线性模型（for回归）

二、判别分类模型

三、生成分类模型

---

一、线性模型（for回归）

1、线性回归

举例：房价问题与坐标和面积有关

那么预测的线性回归模型如下：

X是一个二维的输入（面积，位置），y表示输出（房价）。
那么损失函数如下，其中i表示第i个样本，N表示样本总数

利用梯度下降，对w进行求导
对于单个训练样本的参数更新公式如下：

2、概率假说

假设误差服从一定的分布，比如常见的高斯分布



那么对w求极大似然
最大化似然函数就是最小化如下公式：

也就是我们在第一部分所展示的损失函数。

二、判别分类模型

逻辑回归

对于两类的分类问题，y是标签（0或1）

那么后验概率可以写成：

也就是我们所说的sigmoid函数，图像如下：

它所解决的是分类问题，参数估计的证明如下：

生成分类和判别分类的对比

• 判别分类：对后验概率建模或直接学习判别函数。计算P（Ck | x）：例如逻辑回归。计算判别函数：例如感知器，SVM。假设判别形式，而不是密度。
• 生成分类：显式或隐式建模输入和输出的分布。假设一个关于类别条件概率密度p（x | Ck）的模型。 根据数据估算p（x | Ck）和P（Ck），然后应用贝叶斯规则计算后验概率P（Ck | x）。根据P（Ck | x）执行最佳分类。

三、生成分类模型

1、高斯判别分析GDA

通过对数据的分布进行建模，估计出模型的参数，假设一组数据服从多维正态分布
那么所求的参数就是

以上即求得参数，
不妨做这样的想象，如果我们把逻辑回归中的w看作是GDA中的参数，那么我们可以把逻辑分类模型，看作是求数据的分布。

GDA模型作出了强假设，对数据更加有效，更加依赖于数据的分布。
而逻辑回归的假设较弱，模型更加自由，并且对于偏离建模假设的情况更健壮。