对数几率回归中Sigmoid 函数的求导数 ′()并将σ ′ (x) 表达为 σ(x)(1−σ(x)) 的形式

我们从 Sigmoid 函数的定义出发，逐步推导出这一公式。让我们详细说明这个推导过程。

1. Sigmoid 函数的定义

首先，Sigmoid 函数定义为：

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

其中 $e$ 是自然常数，$x$ 是输入。

2. 求导公式

我们希望对 $\sigma (x)$ 求导，得到 ${\sigma }^{\prime }(x)$。可以使用链式法则来对这个复合函数求导。

首先，将 Sigmoid 函数的分母记为 $f(x)=1+e^{-x}$，那么可以表示为：

$$\sigma (x)=\frac{1}{f(x)}$$

对这个函数求导，使用商的求导法则，公式为：

$$\frac{d}{dx}\left(\frac{1}{f(x)}\right)=-\frac{f^{\prime }(x)}{f(x{)}^2}$$

3. 求导数

接下来，我们需要对 $$f(x)=1+e^{-x}$$ 进行求导。

对 $f(x)$ 求导得到：

$$f^{\prime }(x)=-e^{-x}$$

将其代入到商的求导法则中：

$${\sigma }^{\prime }(x)=-\frac{-e^{-x}}{(1+e^{-x}{)}^2}$$

简化后得：
$${\sigma }^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}$$

4. 化简表达式

我们希望将这个结果表达为 $\sigma (x)$ 的形式。注意到 $\sigma (x)=\frac{1}{1+e^{-x}}$，因此：
$$1+e^{-x}=\frac{1}{\sigma (x)}$$
并且：
$$e^{-x}=\frac{1}{\sigma (x)}-1$$

现在，我们将 $\sigma (x)$ 带入导数公式中。首先，将 $\sigma (x)$ 的表达式代入导数结果：
$${\sigma }^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}$$
可以写成：
$${\sigma }^{\prime }(x)=\sigma (x)\cdot \left(1-\sigma (x)\right)$$

5. 结论

因此，Sigmoid 函数的导数 ${\sigma }^{\prime }(x)$ 可以写成：
$${\sigma }^{\prime }(x)=\sigma (x)\cdot \left(1-\sigma (x)\right)$$

这个结果说明了 Sigmoid 函数导数的简洁性质，它与 Sigmoid 函数本身相关。