(一)基本框架和概念
先以一个简单的双层神经网络为例:
上面的神经网络有
-
输入层:输入特征,每个特征都要与隐藏层的神经元相连,主要是将输入传达到下一层,另外这一层也被称为第零层,不计入神经网络的层数
-
隐藏层:隐藏有多层,用来计算输入的特征,计算的方法是线性计算与激活函数
-
输出层:将隐藏层的输出作为输入进行计算
-
神经元:上述图里的圆圈代表神经元,神经元是完成计算的主体,一般来说神经元有两个参数 w w w和 b b b,在多层神经网络中,每层神经元的激活函数可以不同
(二)、神经元
神经元需要完成两个功能:
-
处理输入,一般来说采用线性相加的方法,即对于输入的特征向量 x x x,将它转换为 z = w T x + b z=w^Tx+b z=wTx+b
-
激活函数,对于第一步得到的 z z z做一些处理,得到输出 a = g ( z ) a=g(z) a=g(z)
这里的函数 g g g就被称为激活函数
1、激活函数
(1)、sigmod函数
在之前的Logistic回归里,学习了sigmod函数: g ( z ) = σ ( z ) = 1 1 + e − z g(z)=\sigma (z)=\frac {1}{1+e^{-z}} g(z)=σ(z)=1+e−z1
因为该函数的值域为