详细版【全连接前馈神经网络】（邱锡鹏）

全连接前馈神经网络

• 前馈神经网络又叫多层感知器，但其实是由多层 的 Logistic 回归

• 具体流程

  1. 令𝒂⁽⁰⁾ = 𝒙，前馈神经网络通过不断迭代此公式进行信息传播：𝒛 ^(𝑙) = 𝑾^(𝑙)𝒂 ^(𝑙−1) + 𝒃^(𝑙) , 𝒂^(𝑙) = 𝑓_𝑙 (𝒛^(𝑙)) 首先根据第 𝑙−1 层神经元的活性值𝒂 ^(𝑙−1) 计算出第 𝑙 层神经元的净活性值 𝒛 ^(𝑙)，然后经过一个激活函数得到第 𝑙 层神经元的活性值。
  2. 每个神经层就是一个仿射变换和一个非线性变换，相当于 𝒛 ^(𝑙) = 𝑾^(𝑙)𝑓_𝑙−1(𝒛^(𝑙−1)) + 𝒃^(𝑙) 或 𝒂 ^(𝑙) = 𝑓_𝑙 (𝑾^(𝑙)𝒂 ^(𝑙−1) + 𝒃^(𝑙)。整个网络可以看作一个复合函数 𝜙(𝒙;𝑾, 𝒃)，将向量𝒙作为第1层的输入𝒂 ⁽⁰⁾，将第𝐿层的输出𝒂 ^(𝐿) 作为整个函数的输出 <