什么是深度前馈神经网络?
深度前馈网络(deep feedforward network),也叫做前馈神经网络(feedforward neurnal network)或者多层感知机(multilayerperceptron, MLP),是典型的深度学习模型。前馈网络的目标是近似某个函数f*。例如,对于分类器,y=f*(x)将输入x映射到一个类别y。前馈网络定义了一个映射y=f(x; w),并且学习参数θ的值,使它能够得到最佳的函数近似。在前馈神经网络内部,参数从输入层向输出层单向传播,它的内部不会构成有向环。这种模型被称为前向(feedforward)的,是因为信息流过x的函数,流经用于定义f的中间计算过程,最终到达输出y。 函数 y= f(x) 也可以被表示成多个函数复合在一起的形式,分别用一个函数表示网络每一层计算的过程,这样显然能够看到更多关于网络的细节。例如,对于一个拥有两个处理层的 MLP 而言,用函数f1表示第一个处理层的计算过程,用函数 f2 表示第二个处理层的计算过程,用函数f3产生最终的输出,如下图所示。
对于最终的输出y ,我们可以用复合函数的形式表示为,这实际上就形成了一个函数链。对于前馈神经网络,我们都可以用这样一个函数链来表示。对于一个深度学习模型而言,一般函数链的长度都比较长。在正式的术语中,我们会用输入层、隐藏层和输出层来称呼一个网络模型中的不同部分。例如,对上图所示的前馈神经网络而言,输入层就 是 x 所在的层,也就是网络的第一层;函数f1()处在网络的