神经网络激活函数与求导

MathDance

于 2022-03-09 17:15:37 发布

阅读量2.3k

点赞数 1

分类专栏：机器学习文章标签：深度学习机器学习神经网络激活函数激活函数求导

本文链接：https://blog.csdn.net/Soft_Po/article/details/123382285

版权

机器学习专栏收录该内容

11 篇文章 22 订阅

订阅专栏

文章目录

- - 神经网络激活函数求导

神经网络激活函数求导

1、Sigmoid 激活函数

$\sigma(x) = \frac{1}{1 + e^{-x}}$
在这里插入图片描述

其导函数为：

$\begin{aligned} \sigma'(x) &= \frac{\partial}{\partial x}\frac{1}{1 + e^{-x}} \\\\&= \frac{e^{-x}}{(1 + e^{-x})^2}\\\\& = \frac{1}{(1 + e^{-x})^2}\cdot e^{-x}\\\\&=\frac{1}{1 + e^{-x}} \cdot (1 - \frac{1}{1 + e^{-x}})\\\\&=\sigma(x)\cdot (1 - \sigma(x))\end{aligned}$

2、Tanh 激活函数

Tanh 函数可以看作是放大并平移的 Sigmoid 函数，但因为是零中心化的 (zero-centered) ，通常收敛速度快于 Sigmoid 函数，下图是二者的对比：

在这里插入图片描述

其函数形式为：

$\begin{aligned}tanh(x) &= \frac{e^x - e^{-x}}{e^x + e^{-x}} \\\\&= \frac{1 - e^{-2x}}{1 + e^{-2x}} \\\\&= \frac{2 - (1 + e^{-2x})}{1 + e^{-2x}} \\\\&= \frac{2}{1 + e^{-2x}} -1 \\\\&= 2\sigma(2x) - 1\end{aligned}$

其导函数为：

$\begin{aligned}tanh'(x) &= \frac{(e^x + e^{-x})^2 -(e^x - e^{-x})^2}{(e^x + e^{-x})^2} \\\\&= 1-tanh^2(x)\end{aligned}$

3、Softmax 激活函数

Softmax 函数将多个标量映射为一个概率分布，其形式为：

$y_i = softmax(z_i) = \frac{e^{z_i}}{\sum\limits_{j=1}^{C}e^{z_j}}$

$y_i$ 表示第 $i$ 个输出值，即属于类别 $i$ 的概率， $\sum\limits_{i = 1}^Cy_i = 1$

$z = W^Tx$ ，表示线性方程，Softmax 函数用于多分类，会对应多个方程。

在这里插入图片描述

首先求标量形式的导数，即第 $i$ 个输出对于第 $j$ 个输入的偏导数：

$\frac{\partial y_i}{\partial z_j} = \frac{\partial \frac{e^{z_i}}{\sum\limits_{j=1}^{C}e^{z_j}}}{\partial z_j}$

其中 $e^{z_i}$ 对 $z_j$ 求导要分情况讨论：

$\frac{\partial e^{z_i}}{\partial z_j} = \left \{\begin{aligned} & e^{z_i}\ \ , \ \ & if \ \ i = j \\ &0\ \ ,\ \ &if \ \ i \not= j \end{aligned}\right.$

那么当 $i = j$ 时：

$\begin{aligned}\frac{\partial y_i}{\partial z_j} &= \frac{e^{z_i}\sum\limits_{j=1}^Ce^{z_j} - e^{z_i}e^{z_j}}{(\sum\limits_{j=1}^Ce^{z_j})^2} \\\\&= \frac{e^{z_i}}{\sum\limits_{j=1}^Ce^{z_j}} - \frac{e^{z_i}}{\sum\limits_{j=1}^Ce^{z_j}}\frac{e^{z_j}}{\sum\limits_{j=1}^Ce^{z_j}} \\\\&= y_i - y_iy_j\end{aligned}$