机器学习—分类模型

第二章 分类模型

给定训练数据

分类任务学习一个输入x到输出y的映射f：

//最大后验估计

其中，y为离散值，其值范围为标签空间：

当C=2时，为两类分类问题

贝叶斯公式        先验概率                             p(y=c)//根据以往的经验和分析得到的概率

                            类条件概率                         p(x|y=c)

                            后验概率                             p(y=c|x)//事情已经发生，由某个因素引起的可能性的大小      

2.1 Logistic回归

Logistic回归是一个用在分类任务的线性分类器。Logistic回归也是（深度）神经网络的基础，可以看做是只包含输入层和输出层的两层网络。我们从经验风险最小、正则、优化、模型评估和模型选择等方面进行讨论。

LR回归是一个分类算法。在机器学习分类算法中，LR回归是其中最常用的一个。

LR回归是在线性回归模型的基础上，使用sigmoid函数（logistic分布的累积分布函数），将线性模型的输出压缩到[0,1]之间，使其能表示概率。LR本质仍然是一个线性模型，实现相对简单。在广告计算和推荐系统中使用频率极高，是点击率（CTR)预估模型的基本算法。LR模型也是深度学习的基本组成单元（两层网络就是LR）

LR回归属于概率性判别式模型。之所以是概率性模型，是因为LR模型是有概率意义的（LR可以得到后验概率p(y|x)；而非概率模型如SVM，模型本身并没有概率意义）；之所以是判别式模型，是因为LR回归并没有对数据的分布p(x,y)进行建模，也就是说LR模型并不知道数据的具体分布，而是直接将判别函数（后验概率），或者说是分类超平面求解出来。

---

注：判别式模型 VS. 产生式模型

有些分类算法通过求解p(y=c|x)实现分类，即对于一个新的样本x,计算其条件概率p(y=c|x)，即后验概率

后验概率可以可以基于贝叶斯公式得到

其中p(x|y=c)是类条件概率密度，p(y=c)是类的先验概率。若采用这种方法的模型，称为是产生式模型。之所以被称为产生式模型，是因为在产生式模型中有p(x|y=c)和p(y=c)，可得到数据的分布p(x，y=c)=p(y=c)p(x|y=c),从而可以从分布中产生数据p(x，y=c)（如随机采样）

分类算法也可以直接对后验概率进行建模，如LR模型中我们假设,而无需知道类先验概率和类条件概率。若采用这种方法的模型，称为判别式模型。

因为有了后验概率后，分类算法可以根据最大后验概率，将输入空间划分成许多不相交的区域，这些区域之间的分隔面被称为判别函数（也称为分类面），有了判别函数，就可以进行分类。

判别式模型直接对后验概率进行建模，从而得到判别函数。产生式模型，最终也是为了得到判别函数。还有一些模型（如SVM）,直接对判别函数进行求解，得到判别面，也被称为判别式法。

---

2.1.1Logistic分布

LR回归是在线性回归模型的基础上，再用sigmoid函数得到概率。这里就先介绍一下sigmoid函数

首先，需要对logistic分布进行说明，这个分布的概率密度函数（pdf）为:

累积分布函数（CDF）为：

其中u表示位置参数，s是形状参数

下图为不同的u和s的情况下，Logistic分布的概率密度函数的图形：

                                                                                    Logistic分布的概率密度函数

下图为不同的u和s的情况下，Logistic分布的累积分布函数的图形：

                                                                                    Logistic分布的累积概率函数

由图可以看出，Logistic分布的形状与正态分布的形状相似。但是Logistic分布的尾部更长。Logistic分布的概率分布函数的图形是一条S形曲线，在中心附近增长速度较快，而在两端的增长速度相比较慢。该曲线以点（u,1/2）位中心对称，即满足

当u=0,s=1时，Logistic分布的概率函数就是我们常说的sigmoid函数：

且其导数为：