【神经网络】FNN——前馈神经网络、前向传播、反向传播详解

1. FNN网络结构：
   （1）FNN可以理解为多层感知机，即：包含多个隐藏层的神经网络
   （2）层与层之间是全连接的，即：相邻两层的任意两个节点都有连接
2. FNN前向传播：
   （1）每个神经元以上一层各个节点输出作为输入，通过线性变换（结合偏置）和非线性函数激活，得到这个节点的输出，并传递给下一层的节点
   （2）输入层的节点对数据不做任何处理，节点个数等于输入自变量x的维度
   （3）输出层的节点个数等于输出因变量y的维度
3. FNN反向传播：
   （1）用神经网络对数据进行建模，就是要找到最合适的参数（权重w和偏置b），对数据进行最佳逼近。通常会设计一个损失函数来度量逼近效果，最优参数应使得损失函数最小化。
   （2）神经网络可以视为一个非常复杂的复合函数，求解最优参数时，需要进行链式求导，形成了梯度的反向传播。
   （3）常见损失函数：分类问题：交叉熵；回归问题：均方误差
   
   
   一文弄懂神经网络中的反向传播法——BackPropagation