神经网络--感知机

• 神经网络
  • 核心
    • 人造神经元
  • 组成
    • 加法器
      • 将所有输入加权求和到神经元上
    • 激活函数
      • 一个处理单元，根据预定义函数产生一个输出
    • 权值和阈值（偏置）
      • 通过不同的学习算法学习这些权重和阈值（偏置）

当只有一层这样的神经元存在时，它被称为感知层

1. 输入层被称为第零层，只有缓冲输入
2. 输出层的每个神经元都有自己的权重和阈值

当存在许多这样的层时，网络被称为多层感知层（MLP）

1. MLP有一个或多个隐藏层，这些隐藏层有不同数量的隐藏神经元

以上有4个神经元的输入层，5个隐藏层，神经元分别有：4,5,6,4,3个；3个神经元的输出层。在此MLP种，下层所有的神经元连接到相邻的上层所有神经元，MLP也被称为全连接层，MLP中的信息流从输入到输出，没有反馈或跳转，这种网络也被称为前馈网络

正向传播：输入被馈送到网络，信号从输入层通过隐藏层传输到输出层，在输出层计算误差和损失函数
反向传播：在反向传播中，首先计算输出层神经元损失函数的梯度，然后计算隐藏层神经元损失函数的梯度

相关激活函数介绍、代码和图像：
激活函数