深度学习之 深度前馈网络

 
  上一篇简单介绍了深度学习概念，本文将介绍最典型的神经网络模型之，深度前馈网络(deep feedforward network)，也叫做前

 馈神经网络(feedforward neuralnetwork)。

  深度前馈网络是典型的深度学习模型，目标是近似某个函数f*，比如映射y=(x;)，并学习的值，使他能够得到函数近似值。

是深度网络的基础。下面简单介绍深度前馈网络的概念，架构，算法，训练等等，其中很多都是深度网络中常用的概念。后续再具体扩展。

 
 

1、前馈神经网络

 

 顾名思义，向前一层一层传递的多层网络结构，前一层的输出做为后一层的输入，中间没有反馈，没有循环。

 每层计算和机器学习中逻辑回归类似，中间层(隐藏层)输出通过激活函数使得整个网络变为非线性。

 优化算法比较简单，通过反向传播从最后一层往前一层一层计算梯度进行训练

其中，又输入层、中间层（也叫隐藏层，经过多个隐藏层）和输出层组成，从输入到一层一层向前传递，直到输出层。

 隐藏层根据模型的大小和复杂程度可以设计成数量任意的多层，各层之间的连接一般实际表示特征的权重。