第四课.判别式模型

线性回归到线性分类

线性回归：$y=w^{T}x+b$，得到结果是一个属于$(-\infty ,+\infty )$的实数，线性分类问题则需要映射$w^{T}x+b$到类别的编码上，分类问题有硬分类和软分类两种情况，假设有一个二分类问题：

• 硬分类，映射结果是二值集合{$0,1$}中的值；
• 软分类，映射结果是$[0,1]$区间上的值，相比硬分类，软分类取到的是概率值，哪个类别的概率大，就认为是哪一类；

软分类的线性分类模型一般有三种：逻辑回归，高斯判别分析，朴素贝叶斯分类器；

软分类模型又可以分为判别式模型和生成式模型，逻辑回归属于判别式模型，直接对条件概率$p(Y|X)$建模；高斯判别分析和朴素贝叶斯是生成式模型，对联合概率$p(X,Y)$进行建模；

逻辑回归建模

以二分类问题为例，在逻辑回归中，所关注的是给定一个样本$x$，计算$p(y=1|x)$的概率，通常会利用sigmoid函数对$w^{T}x$进行非线性映射，映射到$[0,1]$之间的概率值；

逻辑回归的二分类条件概率表达式为：
$$p_1=p(y=1|x)=\sigma (w^{T}x)=\frac{1}{1+e^{-w^{T}x}}=\phi (x,w)$$
$$p_0=p(y=0|x)=1-p(y=1|x)=1-\sigma (w^{T}x)=\frac{e^{-w^{T}x}}{1+e^{-w^{T}x}}=1-\phi (x,w)$$
综合起来，把两个分类的条件概率统一到一个表达式中：
$$p(y|x)=p_1^y{p}_0^{1-y}$$
这就是对条件概率进行建模，带估计参数即向量$w$；

逻辑回归参数估计

面对样本数量为$N$的数据集$(X,Y)$，先通过极大似然估计的思路求解$w$：
$$w_{mle}=argma{x}_{w}log(p(Y|X))=argma{x}_{w}log\prod _{i=1}^{N}p(y_i|x_i)=argma{x}_w\sum _{i=1}^{N}log(p(y_i|x_i))$$
即：
$$w_{mle}=argma{x}_w\sum _{i=1}^N(y_{i}log{p}_1+(1-y_i)log{p}_0)=argma{x}_w\sum _{i=1}^N(y_{i}log(\phi (x,w))+(1-y_i)log(1-\phi (x,w)))$$
至此，得到逻辑回归的目标：
$$w_{mle}=argmi{n}_w[-\sum _{i=1}^N(y_{i}log(\phi (x,w))+(1-y_i)log(1-\phi (x,w)))]$$
一般来说，对于该目标，采用梯度下降逐步逼近$w$的局部最优值。