Logistic 回归 损失函数推导及参数更新

Logistic 回归 损失函数推导及参数更新

Logistic 回归属于广义的线性模型，联系函数为sigmoid函数

广义的线性模型为$y=g({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)$,函数$g(.)$起到了将线性回归模型预测值和真实标记联系起来的作用，称为“联系函数”（link function）。使得$g^{-1}(y)$与${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$形成线性关系。

模型：
$$\begin{gathered} z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b \\ y=\frac{1}{1+e^{-z}} \end{gathered}$$

损失函数推导：
采用极大似然估计来推导损失函数。
先写出正负样本的概率预测值：
$$\begin{array}{rl}p(y^{\ast }=1|\mathbf{x};\mathbf{w},b)& =y\\ p(y^{\ast }=0|\mathbf{x};\mathbf{w},b)& =1-y\end{array}$$
统一两个式子得到：
$$p(y^{\ast }|\mathbf{x};\mathbf{w},b)=y^{y^{\ast }}(1-y{)}^{1-y^{\ast }}$$
假设样本独立且同分布，要让对每个样本的概率值更接近其所属分类，列出极大似然函数：
$$L(\mathbf{w};b)=\prod _{i=1}^{m}p(y_i^{\ast }|{\mathbf{x}}_{\mathbf{i}},\mathbf{w},b)=\prod _{i=1}^m{y}_i^{y_i^{\ast }}(1-y_i{)}^{1-y_i^{\ast }}$$
取对数：
$$l(\mathbf{w},b)=\sum _{i=1}^m[y_i^{\ast }log(y_i)+(1-y^{\ast })log(1-y_i)])$$
损失函数一般求最小值，因此
$$J(\mathbf{w},b)=-\frac{1}{m}\sum _{i=1}^m\left[y_i^{\ast }log(y_i)+(1-y^{\ast })log(1-y_i)\right]$$
正好是交叉熵损失函数

梯度推导

计算图

$$\frac{\partial J}{\partial {\mathbf{w}}_{\mathbf{j}}}=\sum _{i=1}^m\frac{\partial J}{\partial y_i}\frac{\partial y_i}{\partial z_i}\frac{\partial z_i}{\partial {\mathbf{w}}_{\mathbf{j}}}$$

依次计算每一项

$$J(\mathbf{w},b)=-\frac{1}{m}\sum _{i=1}^m\left[y_i^{\ast }log(y_i)+(1-y^{\ast })log(1-y_i)\right]$$

$$\begin{array}{rl}\frac{\partial J}{\partial y_i}& =-\frac{1}{m}(\frac{y_i^{\ast }}{y_i}-\frac{1-y_i^{\ast }}{1-y_i})\\ & =-\frac{1}{m}(\frac{y_i^{\ast }-y_i}{y_i(1-y_i)})\end{array}$$

$$y=\frac{1}{1+e^{-z}}$$

$$\begin{array}{rl}\frac{\partial y_i}{\partial z_i}& =\frac{e^z(1+e^z)-e^z{e}^z}{(1+e^z{)}^2}\\ & =y_i(1-y_i)\end{array}$$

$$z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

$$\frac{\partial z_i}{\partial w_j}=x_j$$
将三个导数计算结果代入上式，得到
$$\begin{array}{rl}\frac{\partial J}{\partial {\mathbf{w}}_{\mathbf{j}}}& =\sum _{i=1}^m-\frac{1}{m}(\frac{y_i^{\ast }-y_i}{y_i(1-y_i)})\cdot y_i(1-y_i)\cdot x_j\\ & =\frac{1}{m}\sum _{i=1}^m(y_i-y_i^{\ast })x_j\end{array}$$

参数更新公式

$$\begin{array}{rl}{\mathbf{w}}_{\mathbf{j}}& ={\mathbf{w}}_{\mathbf{j}}-\alpha \frac{\partial J}{\partial {\mathbf{w}}_{\mathbf{j}}}\\ & ={\mathbf{w}}_{\mathbf{j}}-\alpha \frac{1}{m}\sum _{i=1}^m(y_i-y_i^{\ast })x_j\end{array}$$