神经网络基础

（一）基本框架和概念

先以一个简单的双层神经网络为例：

上面的神经网络有

• 输入层：输入特征，每个特征都要与隐藏层的神经元相连，主要是将输入传达到下一层，另外这一层也被称为第零层，不计入神经网络的层数

• 隐藏层：隐藏有多层，用来计算输入的特征，计算的方法是线性计算与激活函数

• 输出层：将隐藏层的输出作为输入进行计算

• 神经元：上述图里的圆圈代表神经元，神经元是完成计算的主体，一般来说神经元有两个参数$w$和$b$，在多层神经网络中，每层神经元的激活函数可以不同

（二）、神经元

神经元需要完成两个功能：

• 处理输入，一般来说采用线性相加的方法，即对于输入的特征向量$x$，将它转换为$z=w^{T}x+b$

• 激活函数，对于第一步得到的$z$做一些处理，得到输出$a=g(z)$

这里的函数$g$就被称为激活函数

1、激活函数

(1)、sigmod函数

在之前的Logistic回归里，学习了sigmod函数：$g(z)=\sigma (z)=\frac{1}{1+e^{-z}}$

因为该函数的值域为