逻辑回归（上）：函数求导过程自推 LaTex 语法

背景

闲来无事翻了一下之前买的一个机器学习课程及之前记录的网络笔记，发现遇到公式都是截图，甚至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习笔记，主要是为了玩一下 LaTex 语法，写公式挺有意思的。

整理之前三篇笔记汇总如下：

1. 逻辑回归（上）：函数求导过程自推 LaTex 语法
2. 逻辑回归（中）：数学公式学习笔记 LaTeX 版
3. 逻辑回归（下）： Sigmoid 函数的发展历史

逻辑回归函数

逻辑回归的数学函数表达式为：
$$\begin{array}{r}g(z)=\frac{1}{1+e^{-z}}\end{array}$$

它在二维坐标系中的表现为：

因为其外形类似S形状，因而又称为Sigmoid函数。sigmoid，英/'sɪgmɒɪd/n. 乙状结肠（等于sigmoidal）；S状弯曲。

导数公式

逻辑回归函数的导数公式为：
$$\begin{array}{r}{g}^{{}^{\prime }}(z)=g(z)((1-g(z))\end{array}$$

它是怎么推导出来的呢？一起来理一遍。

第一步，确定公式。导数推导过程使用的是商的求导公式：

$$\begin{array}{r}(\frac{u}{v}{)}^{{}^{\prime }}=\frac{u^{{}^{\prime }}v+u{v}^{{}^{\prime }}}{v^2}\end{array}$$

此处：$u=1$，$v=1+e^{-z}$。

第二步，分别对它们求导：$u^{{}^{\prime }}=0$，$v^{{}^{\prime }}=e^{-z}$ 。基本知识：常量的导数是 0，e 的 X 次幂的导数是本身。

第三步，计算数值：
$$\begin{array}{r}{g}^{{}^{\prime }}(z)=\frac{0+e^{-z}}{(1+e^{-z}{)}^2}=\frac{e^{-z}}{(1+e^{-z}{)}^2}\end{array}$$

第四步，对分子进行等价变形，先加 1 再减 1，得到：
$$\begin{array}{rl}{g}^{{}^{\prime }}(z)& =\frac{1+e^{-z}-1}{(1+e^{-z}{)}^2}\\ & =\frac{1+e^{-z}}{(1+e^{-z}{)}^2}-\frac{1}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z}{)}^2}\end{array}$$

第五步，代入已知条件 $g(z)=\frac{1}{1+e^{-z}}$，所以公式(7) 就成为：
$$\begin{array}{rl}{g}^{{}^{\prime }}(z)& =g(z)-(g(z){)}^2\\ & =g(z)(1-g(z))\end{array}$$

启示录

当年读书时，不知道高等数学具体在计算机中的应用过程，所以糊里糊涂的。现在看到相关的技术知识，反观公式时，奈何有种时过境迁的感觉，年龄大了，脑容量不够用啊……