我们看到成熟的神经网络时,往往能看到偏置 b b b与激活函数Sigmoid或ReLU,但是它们是从何而来的呢?
通过探究,我们将获得更深刻的认识。
偏置的前世今生
偏置的由来
用一张图就能说明白。来吧,少年,接图!
如果我的图做的有点杂乱,那咱们就稍微用用公式。
回忆一下我们之前讨论过的M-P模型,我们的激活函数 f ( z ) f(z) f(z)是一个以 h h h为阈值的阶跃函数,如公式(1)所示。
f ( z ) = { 1 z ≥ h 0 z < h f(z)=\begin{cases} 1&{z \ge h}\\ 0&{z < h} \end{cases} f(z)={
10z≥hz<h
我们现在对它进行一点小小的变换,如公式(2)。
f ( z − h ) = { 1 z − h ≥ 0 0 z − h < 0 f(z-h)=\begin{cases} 1&{z-h \ge 0}\\ 0&{z-h < 0} \end{cases} f(z−h)={
10z−h≥0z