逻辑回归梯度求解复习

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文主要记录对数几率回归模型的学习和推导过程。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、对数几率回归模型

示例：对数几率回归模型又叫逻辑回归（LogisticRegression）。

在分类任务中，在给定输入x的情况下，概率密度函数为：

$$p(y|x;\mu )=\mu (x{)}^y(1-\mu (x){)}^{1-y}$$

期望$\mu (x)$ 如何表示？ 最简单的模型： 线性模型

$$\mu (x)=w^{\mathrm{T}}x$$

但是$\mu (x)$表示给定$x$的情况下，$y=1$的概率，取值为区间[0,1]。
所以，将$w^{\mathrm{T}}x$的输出范围转换到[0,1]:
利用 sigmoid函数 (S形函数)可以实现该转换：
Sigmoid函数为：

$$\frac{d\sigma (z)}{dz}=\sigma (z)(1-\sigma (z))$$

二、损失函数

1.交叉熵损失

对数几率模型：
$$y|x\sim \mathrm{Bernoulli}(\mu (x))，p(y|x;\mu (x))=\mu (x{)}^y(1-\mu (x){)}^{(1-y)}，其中\mu (x)=\sigma (w^{\mathrm{T}}{x}^{})$$
log似然：
$$\begin{array}{rl}\ell (\mu )& =\ln p(\mathcal{D})=\sum _{i=1}^N\ln p(y_i|x_i)\\ & =\sum _{i=1}^N\ln (\mu (x_i{)}^{y_i}(1-\mu (x_i){)}^{(1-y_i)})\end{array}$$
交叉熵损失：
定义负log似然损失又叫交叉熵损失为：

$$L(y,\mu (x))=-y\ln (\mu (x))-(1-y)\ln (1-\mu (x))$$
对数几率回归的损失函数采用交叉熵损失

$$L(y,\mu (x))=-y\ln (\mu (x))-(1-y)\ln (1-\mu (x))$$

其中$y$为真值，$\mu (x)=\sigma (w^{\mathrm{T}}{x}^{})$为预测值为1的概率。
N个样本上的目标函数如下：
$$J(w,b)=\frac{1}{N}\sum _{i=1}^{N}L(\widehat{y_i},y_i)=-\frac{1}{N}\sum _{i=1}^N[y_{i}ln(\widehat{y_i})+(1-y_i)ln(1-\widehat{y_i})]$$

2.加入正则项的目标函数

$$J(w,b)=\frac{1}{N}\sum _{i=1}^{N}L(\widehat{y_i},y_i)=-\frac{1}{N}\sum _{i=1}^N[y_{i}ln(\widehat{y_i})+(1-y_i)ln(1-\widehat{y_i})]$$
加入正则项：
实现的目标函数为
$$J(w,b,\lambda )=C\sum _{i=1}^{N}L(y_i,\mu (x_i;w))+\lambda R(w)$$$$\text{正则项}R(\mathbf{w})\text{可为L1正则、L2正则、L1正则+L2正则}$$正则越少。 其中超参数$C$起到正则作用，$C$越大，正则越少。

3.求梯度

以L2正则为例：
$$\text{正则项取L2正则}:R(\mathbf{w})=\sum _{j=1}^D{w}_j^2=w^{T}w$$
对于单个样本：
目标函数为$$J(w,b,\lambda )=-y\ln (\mu (x))-(1-y)\ln (1-\mu (x))+\lambda \sum _{j=1}^D{w}_j^2$$
首先给出预备知识：
$$\begin{array}{c}\mu (x,w)=\sigma (w^{\mathrm{T}}x+b)\\ \sigma (z)=\frac{1}{1+e^{-z}}\\ \frac{d\sigma (z)}{dz}=\sigma (z)(1-\sigma (z))\\ \frac{\partial \left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+\mathbf{b}\right)}{\partial \mathbf{w}}=x\\ \frac{\partial \left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+\mathbf{b}\right)}{\partial \mathbf{b}}=1\end{array}$$
第一步：
$$\begin{array}{rlr}\frac{\partial J}{\partial u(x)}& =-\frac{\partial }{\partial u(x)}[ylogu(w,x)+(1-y)log(1-u(x))]& \\ & =-\frac{y}{u(x)}+\frac{1-y}{1-u(x)}& \end{array}$$
其次：
$$\begin{array}{c}\begin{array}{r}\frac{d\sigma (z)}{dz}=u(x)(1-u(x))\end{array}\\ \begin{array}{r}\frac{\partial z(w,b)}{\partial w}=-\frac{\partial }{\partial w}(w^{T}x+b)=x\end{array}\\ \frac{\partial z(w,b)}{\partial b}=-\frac{\partial }{\partial b}(w^{T}x+b)=1\end{array}$$
又：
$${\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =2w\\ \frac{\partial R(w)}{\partial b}& =0\end{array}}^{\omega }$$
根据求导链式法则得到：
$$\begin{array}{rl}\frac{\partial J}{\partial w}& =\frac{\partial J}{\partial u(x)}\frac{d\sigma (z)}{dz}\frac{\partial z(w,b)}{\partial w}=(u(x)-y)x+2\lambda w\\ \frac{\partial J}{\partial b}& =\frac{\partial J}{\partial u(x)}\frac{d\sigma (z)}{dz}\frac{\partial z(w,b)}{\partial b}={}^{}u(x)-y\end{array}$$

综上：
当提供学习率时就可以进行梯度下将求解；
1. 初始化$w^{(0)}$ ( 上标括号中的数字表示迭代次数 ) ; 2. 计算函数$J_{(w)}$在当前位置$w^{(t)}$处的梯度${\nabla }_{w}J{|}_{w^{(t)}}$

3. 根据当前学习率η,更新参数

$$w^{(t+1)}=w^{(t)}-\eta {{\nabla }_{w}J|}_{w^{(t)}}$$

4.若$J(w^{(t)})-J(w^{(t+1)})<\epsilon$,返回$w^{(t)}$为最佳参数 ; 否则$t=t+1$,转第2步。

总结

主要是进行一个逻辑回归梯度得一个求解。