One hidden layer Neural Network - Derivatives of activation functions

最新推荐文章于 2022-04-03 18:33:33 发布

王彩旗 edwardwangcq.com

最新推荐文章于 2022-04-03 18:33:33 发布

阅读量77

点赞数

分类专栏：人工智能 # Neural Networks and Deep Learning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/edward_wang1/article/details/118602879

版权

人工智能同时被 2 个专栏收录

142 篇文章 0 订阅

订阅专栏

Neural Networks and Deep Learning

32 篇文章 0 订阅

订阅专栏

When you implement back propagation for your NN, you need to compute the slop/derivative of the activation function. Let's take a look at this.

Sigmoid activation function

figure-1

We have:

$g^{'}(z)=g(z)(1-g(z))=a(1-a)$

Following is the derivation:

$\\g^{'}(z)=\frac{d}{dz}g(z)\\= (\frac{1}{1+e^{-z}})^{'}\\=\frac{0\times(1+e^{-z})-1\times(1+e^{-z})^{'}}{(1+e^{-z})^{2}}\\=\frac{e^{-z}}{(1+e^{-z})^{2}}=\frac{1+e^{-z}-1}{(1+e^{-z})^{2}}=\frac{1}{(1+e^{-z})}-\frac{1}{(1+e^{-z})^{2}}\\=g(z)(1-g(z))\\=a(1-a)$

Tanh activation function

figure-2

We have:

$g^{'}(z)=1-(tanh(z))^{2}=1-a^{2}$

Here's the derivation:

$g^{'}(z)=\frac{d}{dz}g(z)\\=(\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}})^{'}\\ =\frac{(e^{z}-e^{-z})^{'}\times(e^{z}+e^{-z})-(e^{z}-e^{-z})(e^{z}+e^{-z})^{'}}{(e^{z}+e^{-z})^{2}}\\ =\frac{(e^{z}+e^{-z})^{2}-(e^{z}-e^{-z})^{2}}{(e^{z}+e^{-z})^{2}}\\ =1-(tanh(z))^{2}\\ =1-a^{2}$

ReLU activation function

figure-3

We have:

$g^{'}(z)=\left\{\begin{matrix} 0 \: \: if z< 0\\ 1 \: \: if\: z\geqslant 0 \end{matrix}\right.$

Leaky ReLU activation function

figure-4

$g^{'}(z)=\left\{\begin{matrix} 0.01 \: \: if z< 0\\ 1\: \: \: \: \: \: \: if\: z\geqslant 0 \end{matrix}\right.$

<end>

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。