分类 Classification

分类

什么是分类？

一种典型的有监督学习问题

如下图，假设线性可分训练集 D = { x i , y i } i = 1 n , y ∈ { − 1 , 1 } D=\left\{\boldsymbol{x}_{i}, y_{i}\right\}_{i=1}^{n}, y \in\{-1,1\} D={xi​,yi​}i=1n​,y∈{−1,1}

• 感知机：找到一条直线，将两类数据分开即可
• 支持向量机：找到一条直线，不仅将两类数据正确分类，还使得数据离直线尽量远
• 逻辑回归：找到一条直线使得观察到训练集的“可能性”最大

前置知识

点到平面距离

最大似然估计

”似然”：likelihood 可能性。
最大似然法，一种求解概率模型参数的方法。
最早是遗传学家以及统计学家罗纳德·费雪在1912年至1922年间开始使用。

训练集的矩阵表示

假设训练集的特征部分记为$n\times (d+1)$矩阵$X$，其中最后一列取值全为1.标签部分记为$y$，参数记为$w$：
$$\hat{\mathbf{y}}=\mathbf{X}\mathbf{w}$$

感知机（Perceptron）

假设$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}$，系数$\mathbf{w}={\left({\mathrm{w}}_1,{\mathrm{w}}_2,\dots ,{\mathrm{w}}_{\mathrm{d}},{\mathrm{w}}_0\right)}^{\mathrm{T}}$，模型为：
$$y=H(f(x))=\{\begin{array}{ll}+1,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}>0\\ -1,& {\mathbf{w}}^{\mathrm{T}}\mathbf{x}\le 0\end{array}$$

令$f(x)=0$，可以得到决策超平面${\mathbf{w}}^{\mathrm{T}}\mathbf{x}=0$

有$n$个训练样本，线性可分数据集 D = { ( x 1 , y 1 ) , … , ( x n , y n ) } \mathrm{D}=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right), \ldots,\left(\boldsymbol{x}_{\mathrm{n}}, y_{\mathrm{n}}\right)\right\} D={(x1​,y1​),…,(xn​,yn​)}，点$x_i,y_i$到决策超平面的距离为（不妨令$\Vert \mathbf{w}\Vert {}_2=1$）：
$$d_i=\frac{\left|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}\right|}{\Vert \mathbf{w}{\Vert }_2}=\frac{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}}{\Vert \mathbf{w}{\Vert }_2}\to y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}$$
优化目标是：误分类样本离超平面距离之和最小

目标函数：$\mathrm{L}(\mathbf{w})=-{\sum }_{i\in M}{y}_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}$，$M$为误分类样本集合$\left\{j\mid y_j{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{j}}<0\right\}$，

严格来说，在$f(x)=0$处不可微，是没有梯度的，所以用次梯度来解决。

梯度：$\nabla \mathrm{L}(\mathbf{w})=-{\sum }_{i\in M}{y}_i{\mathbf{x}}_{\mathbf{i}}$

梯度下降法（GD）：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}+{\eta }_t\sum _{i\in M}{y}_i{\mathbf{x}}_{\mathbf{i}}$$
随机梯度下降法（SGD）：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}+{\eta }_t{y}_i{\mathbf{x}}_{\mathbf{i}}$$
感知机算法过程：

支持向量机（Support Vector Machines）

线性可分训练集 D = { ( x 1 , y 1 ) , … , ( x n , y n ) } \mathrm{D}=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right), \ldots,\left(\boldsymbol{x}_{\mathrm{n}}, y_{\mathrm{n}}\right)\right\} D={(x1​,y1​),…,(xn​,yn​)}，点$\left({\mathbf{x}}_i,y_i\right)$到决策超平面的距离$d_i=\frac{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}}{\Vert \mathbf{w}{\Vert }_2}$，我们的目标是让整个数据集离超平面越远越好，也就是让所有点中最近的点的距离最大：
$$\underset{\mathbf{w}}{\max }\underset{i}{\min }\frac{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}}{\Vert \mathbf{w}{\Vert }_2}\iff \underset{\mathbf{w}}{\max }\frac{1}{\Vert \mathbf{w}{\Vert }_2}\underset{i}{\min }{y}_i{\mathbf{w}}^{\mathrm{T}}{x}_i$$
$y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}$相当于直线的系数，所以不妨令${\min }_i{y}_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}=1$，则：
$$\underset{\mathbf{w}}{\max }\frac{1}{\Vert \mathbf{w}{\Vert }_2}\iff \underset{\mathbf{w}}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2\text{\hspace{1em}(1)}$$
因为假设了${\min }_i{y}_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}=1$，那么对于训练集任意样本需满足$y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}\ge 1$，对于不满足上述条件样本的损失函数定义为$1-y_{i} \mathbf{w}^{\mathrm{T}} \boldsymbol{x}_{\boldsymbol{i}} $，则样本损失为合页损失（hinge loss）：
$$\mathrm{L}\left(y_i,f\left({\mathbf{x}}_{\mathbf{i}}\right)\right)=\max \left(0,1-y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}\right)\text{\hspace{1em}(2)}$$

为什么叫合页损失呢？如下配图：

所以，(1)(2)两个优化目标得到的目标函数：
$$\mathrm{L}(\mathbf{w})=\frac{\lambda }{2}\Vert \mathbf{w}{\Vert }_2^2+\sum _{i=1}^n\max \left(0,1-y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i\right)$$
其中，$\lambda$是超参数，用来平衡两个优化目标

记不满足约束的样本集$M=\left\{j\mid y_j{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{j}}<1\right\}$，那么梯度为：
$$\nabla \mathrm{L}(\mathbf{w})=\lambda \mathbf{w}-\sum _{i\in M}{y}_i{\mathbf{x}}_i$$
梯度下降法：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}-{\eta }_t\left(\lambda {\mathbf{w}}^{(t)}-\sum _{i\in M}{y}_i{\mathbf{x}}_i\right)$$
随机梯度下降法：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}-{\eta }_t\left(\lambda {\mathbf{w}}^{(t)}-\mathrm{I}(i\in M)y_i{\mathbf{x}}_i\right)$$
上面的算法是软间隔的SVM，如果是非线性的，使用映射的方法，从低维映射到高维。在高维会有维度灾难的问题，但是计算量还是低维的计算量。SVM没有很好解决的问题：怎么从低维映射到高维。

核方法与核函数

核方法的基本原理是把原坐标系里线性不可分的数据使用核函数（Kernel）投影到另一个空间，尽量使得数据在新的空间里线性可分。

• 核函数的引入避免了“维数灾难”，大大减小了计算量。而输入空间的维数$n$对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
• 无需知道非线性变换函数的形式和参数。
• 核函数的形式和参数的变化会隐式改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
• 核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

具体地，特征$X_i$和$X_j$在新空间中的内积可以由核函数$k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$计算得到。

• 多项式核: $k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left(x_i^{\mathrm{T}}{\mathbf{x}}_j+r\right)}^d$, $d$为次数, $r$为截距项
• 拉普拉斯核: $k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{\Vert x_i-x_j\Vert }{\delta }\right)$, $\delta>0 $
• 高斯核：$k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{{\Vert x_i-x_j\Vert }^2}{2{\delta }^2}\right)$，$\delta >0$为窗宽

• Sigmoid核（Fisher核）: $k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\tanh \left(\beta x_i^{\mathrm{T}}{x}_j+\theta \right)$, $\beta >0$, $\theta<0 $

逻辑回归（Logistic Regression）

假设$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}$，系数$\mathbf{w}={\left({\mathrm{w}}_1,{\mathrm{w}}_2,\dots ,{\mathrm{w}}_{\mathrm{d}},{\mathrm{w}}_0\right)}^{\mathrm{T}}$，训练集 D = { x i , y i } i = 1 n , y ∈ { − 1 , 1 } D=\left\{\boldsymbol{x}_{i}, y_{i}\right\}_{i=1}^{n}, y \in\{-1,1\} D={xi​,yi​}i=1n​,y∈{−1,1}，概率的解释：
$$\begin{gathered} p(y=1\mid \mathbf{x})=\frac{1}{1+e^{-{\mathrm{w}}^{\mathrm{T}}x}} \\ \text{\hspace{1em}(1)} \end{gathered}$$

$$p(y=-1\mid \mathbf{x})=1-p(y=1\mid \mathbf{x})=\frac{1}{1+e^{{\mathrm{w}}^{\mathrm{T}}x}}\text{\hspace{1em}(2)}$$

类似sigmoid函数，(1)式代表样本是正的概率，(2)式代表样本是负的概率，结合$ y \in{-1,1}$，加入$y$后，样本$(\boldsymbol{x}{1}, y{1})$的概率为：
$$p\left(y_i\mid {\mathbf{x}}_i\right)=\frac{1}{1+e^{-y_i{\mathbf{w}}^{\mathrm{T}}{x}_i}}$$
这时，我们想到最大似然估计，把每一个概率连乘，得到似然函数为：
$$\mathrm{L}(\mathbf{w})=\prod _{i=1}^{n}p\left(y_i\mid {\mathbf{x}}_i\right)=\prod _{i=1}^n\frac{1}{1+e^{-y_i{w}^{\mathrm{T}}{x}_i}}$$
为了便于计算，取对数，将乘法变为加法，负对数似然函数为：
$$\mathrm{NLL}(\mathbf{w})=\sum _{i=1}^n\ln \left(1+e^{-y_i{\mathbf{w}}^{\mathrm{T}}{x}_i}\right)$$
梯度为：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}+{\eta }_t\sum _{i=1}^n\frac{y_i{\mathbf{x}}_i}{1+e^{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i}}$$
随机梯度下降法：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}+{\eta }_t\sum _{i=1}^n\frac{y_i{\mathbf{x}}_i}{1+e^{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i}}$$

三种模型的对比

感知机：$\mathrm{L}(y, f(\boldsymbol{x}))=\max (0,-y f(\boldsymbol{x})) $

支持向量机 : $\mathrm{L}(y,f(\mathbf{x}))=\max (0,1-yf(\mathbf{x}))$

逻辑回归 : $\mathrm{L}(y, f(\boldsymbol{x}))=\ln (1+\exp (-y f(\boldsymbol{x}))) $

从图中可以看出，感知机对于小于0的有惩罚，支持向量机小于1就有惩罚。理想的损失函数：0-1损失 ，就是图中的黑色部分，但是这很难被高效地优化

感知机

• 关注误分类样本，将训练集样本分对即可
• 是支持向量机、神经网络的基本模型
• 只能应用于线性可分数据集

支持向量机

优点：

• 可以使用核技巧将低维数据转换到高维运算，保持低维的计算量

缺点：

• 如何选择核函数是一大困难
• 当特征维度远远大于样本量时，效果会比较差
• 当样本量很大时，使用非线性核函数会导致计算效率低下
• SVM无法直接输出概率化的取值

逻辑回归

• 使用 Logistic 函数赋予样本概率解释
• 使用最大似然法求解，是一种线性分类模型
• 为防止过度拟合，可在优化目标添加正则项