DL(1) - 神经网络基本概念

---

神经元基本结构

• 神经元： 神经网络的最小单元，每个神经元其实都是由两部分组成：数学模型($W_i{x}_i+b$)和激活函数$h(t)$。

  1. 如下图：单神经元网络，n个输入信号(图中是3个)，这些信号通过带权重和偏移量的数学模型计算再经过激活函数处理，最终产生神经元的输出。($W$ 为权重，$b$ 为偏移量 ，$f$即$h$ 为激活函数。)
     
  2. 因此每个神经元，内部结构就是一个数学模型，如下图：
     
  3. EG:
     
     
     

• 激活函数： 激活函数有各种各样的类型，一旦确定了激活函数，就确定了此神经元的具体数学模型。
  

  1. 如果神经元没有选用激活函数，那就相当于用了线性的激活函数即$f(x)=x$，神经元输出值相当于还是$x$。如果神经元选用"sigmoid"，‘relu’，‘tanh’，'elu’等激活函数，那会神经元的输出值将会进行相应的非线性变换。
  2. Sigmoid激活函数：$f(x)=\frac{1}{1+e^{-x}}$
     
     $x$ 经过此激活函数，神经元输出值被限定在[0，1]的范围内，这样可以很简单的通过定义阀值对数据进行二分类，因此sigmoid激活神经元又称为二分类神经元(通常作为最终输出层神经元的激活函数)。
  3. 通常仅用于多分类神经网络任务 输出层 的激活函数ÿ