机器学习之逻辑回归（算法详细推导）

Table of Contents

• 逻辑回归
  • [Logist 函数](#Logist 函数)
  • 目标函数
  • [最大似然求解Loss Function](#最大似然求解Loss Function)
  • 运用梯度下降得到参数更新递推公式
  • Logistic回归与梯度上升法
  • 逻辑回归解决多分类问题
    • 方法一：OvR
    • 方法二：OvO
    • 方法三：softmax

逻辑回归

标准逻辑回归是结果为0，1的二分类算法。目标是求$P(y_i=1\Vert x_i,w)$，若其大于$\frac{1}{2}$，则预测分类结果为1，否则为0。

Logist 函数

令$p(x_i)=P(y_i=1\Vert x_i,w)$，构建$p(x_i)$与$w^T{x}_i$之间的关系式。

首先提出以下猜想

$p(x_i)=w^T{x}_i？\log p(x_i)=w^T{x}_i$？

由于$0\le p(x)\le 1$, $w^T{x}_i$是无界的。于是我们说以上等式都是不成立的，因此又有了以下猜想

$\log \frac{p(x_i)}{1-p(x_i)}=w^T{x}_i$

可以证明$\text{odd}=\frac{p(x_i)}{1-p(x_i)}$的范围是[0,$\inf$]，则等式成立。我们称其为logist函数。

则可以化简得到

$$p(x_i)=\frac{1}{1+e^{-w^T{x}_i}}$$

可以类比Sigmoid函数发现，$p(x_i)$与Sigmoid函数一致。因此我们设$p(x_i)=g(w^T{x}_i)$。

目标函数

假设样本独立且同分布，则有最大似然估计

$$ma{x}_w\prod _{i=1}^{n}P(y_i|x_i,w)$$

其中

$$P(y_i|x_i,w)=P(y_i=1|x_i,w{)}^{y_i}P(y_i=0|x_i,w{)}^{1-y_i}$$

最大似然求解Loss Function

令

$$J=\prod _{i=1}^{n}P(y_i|x_i,w)$$

$$=\prod _{i=1}^{n}g(w^T{x}_i{)}^{y_i}(1-g(w^T{x}_i){)}^{1-y_i}$$

$$\log J=\sum _{i=1}^m{y}_i\ln (g(w^T{x}_i))+(1-y_i)\ln (1-g(w^T{x}_i))$$

$$\text{Loss}=-\log J$$

目标函数为

$$\underset{w}{\min }-\log J(w)$$

其中$g$ 为sigmoid函数

Q1: 为什么要求最大对数似然估计而不是最大似然估计：

1. 首先损失函数的本质是对错误预测进行较大的惩罚，也就是损失函数值会变大，而对正确预测不进行惩罚。对于这点-log在定义域为[0,1]时正好符合。

2. 另外，由于取完对数之后，方便我们之后的求导。因为如果直接利用似然函数，会造成两个问题：(1) 对于后续求导不方便, (2) 会导致下溢出

Q2: LR损失函数与最大对数似然函数的关系

LR损失函数是负的最大对数似然函数。由于最大对数似然函数体现出，当真实值和估计值相近的时候，最大对数似然函数很大；相反，则最大对数似然函数接近于0。而损失函数是为了惩罚错误估计，因此通过取相反数正好能够很好的解决这个问题。

Q3: LR的损失函数为什么不是平方损失函数（最小二乘）

虽然由于LR是一种广义的线性回归模型，然而若将LR看作一层的简单的神经网络，其中输出层的激活函数是Sigmoid，我们可以发现，若使用最小二乘作为损失函数，在进行反向传播的时候，由于平方损失函数对于Sigmoid函数求导得到的无法保证是凸函数，因此在优化的过程中，得到的解可能是局部最优，而不是全剧最优解。

运用梯度下降得到参数更新递推公式

对Loss函数求导

$$\frac{\partial -\log J}{\partial w}=-\sum _{i=1}^n[y_i\frac{\frac{\partial g(w^T{x}_i)}{\partial w}}{g(w^T{x}_i)}+(1-y_i)\frac{\frac{-\partial g(w^T{x}_i)}{\partial w}}{1-g(w^T{x}_i)}]$$

由于令$z_i=w^T{x}_i$，则有

$$\frac{\partial g(w^T{x}_i)}{\partial w}=\frac{\partial g(z_i)}{\partial z_i}\frac{\partial z_i}{\partial w}$$

又因为

$$\frac{\partial g(z_i)}{\partial z_i}=g(z_i{)}^{\prime }=g(z_i)(1-g(z_i))$$

于是整合得

$$\frac{\partial -\log J}{\partial w}=\sum _{i=1}^n(g{z}_i)-y_i)x_i$$

根据梯度定义得到

$$w:=w-\alpha \sum _{i=1}^n(g{z}_i)-y_i)$$

Logistic回归与梯度上升法

逻辑回归解决多分类问题

方法一：OvR

• 思想：

n 种类型的样本进行分类时，分别取一种样本作为一类，将剩余的所有类型的样本看做另一类，这样就形成了 n 个二分类问题，使用逻辑回归算法对 n 个数据集训练出 n 个模型，将待预测的样本传入这 n 个模型中，所得概率最高的那个模型对应的样本类型即认为是该预测样本的类型；

• 时间复杂度：O(n)
• 示意图
  
  

方法二：OvO

• 思想

n 类样本中，每次挑出 2 种类型，两两结合，一共有$C_n^2$种二分类情况，使用$C_n^2$种模型预测样本类型，有$C_n^2$个预测结果，种类最多的那种样本类型，就认为是该样本最终的预测类型；

• 时间复杂度：$O(n^2)$
• 示意图
  
  

方法三：softmax

• 思想

由于发现OvR的所有概率相加通常会超过1，因此对OvR进行改进，对概率进行归一化

• 推导

令$z_i^j=(w^j{)}^T{x}_i$,其中$w^j$表示第$j$类的权重(是个列向量)，$、x_i$表示第$i$个样本(是个列向量)。

将$z_i^j$映射到$y_j(z_i)=e^{z_i^j}/\sum _{c=1}^C{e}^{z_i^c}$，其中C表示有C个类，$y_j(z_i)$表示第$j$类的softmax值，即样本$i$属于$j$类的概率

令$$gs(z_i)=[y_1(z_i),y_2(z_i),\dots ,y_C(z_i){]}^T$$
相当于用矩阵表示

$Ps(w^{T}x)=\frac{exp(w^{T}x)}{1^{T}exp(w^{T}x)},其中1是全为1的向量,w=[w^1,w^2,\dots ,w^C{]}^T$

用统计学知识解释，那么在多分类问题中，假设类别标签y∈{1, 2, …, C}有C个取值，那么给定一个样本x，softmax回归预测x属于类别i的后验概率为：

$$P(y=i|x;w_i)=\frac{exp(w_i^{T}x)}{{\sum }_{c=1}^{C}exp(w_c^{T}x)}.$$

• 示意图
  
• 目标函数

L=${\sum }_k{t}_k\cdot lnP(y=k)$，其中目标类的$t_k$为1，其余类的$t_k$为0

• 权重递推公式

由于对比普通逻辑回归，只是改变了映射函数

logistic的递推公式

$$w:=w+\alpha \sum _{i=1}^C(x_i(y_i-g(w^T{x}_i)))w:=w-\alpha X^T(g(w^{T}X)-y)$$

则softmax的递推公式

$$w:=w+\alpha \sum _{i=1}^C(x_i(y_i-Ps(w^T{x}_i)))w:=w-\alpha X^T(Ps(w^{T}X)-y)$$