sinat_17525183的博客

原创 神经网络中常用的几种激活函数的理解

1. 什么是激活函数   在神经网络中，我们经常可以看到对于某一个隐藏层的节点，该节点的激活值计算一般分为两步：   （1）输入该节点的值为 x1,x2x1,x2 时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1]z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ，上标 11 表示第 11 层隐藏层。   （2）再进...