全连接前馈神经网络
-
前馈神经网络又叫多层感知器,但其实是由多层 的 Logistic 回归
-
具体流程
- 令𝒂(0) = 𝒙,前馈神经网络通过不断迭代此公式进行信息传播:𝒛 (𝑙) = 𝑾(𝑙)𝒂 (𝑙−1) + 𝒃(𝑙) , 𝒂(𝑙) = 𝑓𝑙 (𝒛(𝑙)) 首先根据第 𝑙−1 层神经元的活性值𝒂 (𝑙−1) 计算出第 𝑙 层神经元的净活性值 𝒛 (𝑙),然后经过一个激活函数得到第 𝑙 层神经元的活性值。
- 每个神经层就是一个仿射变换和一个非线性变换,相当于 𝒛 (𝑙) = 𝑾(𝑙)𝑓𝑙−1(𝒛(𝑙−1)) + 𝒃(𝑙) 或 𝒂 (𝑙) = 𝑓𝑙 (𝑾(𝑙)𝒂 (𝑙−1) + 𝒃(𝑙)。整个网络可以看作一个复合函数 𝜙(𝒙;𝑾, 𝒃),将向量𝒙作为第1层的输入𝒂 (0),将第𝐿层的输出𝒂 (𝐿) 作为整个函数的输出 𝒙 = 𝒂(0) → 𝒛(1)