深度前馈网络(deep feedforward network),也叫做前馈神经网络(feedforward neural network),或者多层感知机(multilayer perceptron, MLP),是典型的深度学习模型。基本上所有的深度学习算法的过程都可以定义为:数据集的输入→求代价函数→最优化处理→得到模型。前馈网络也类似:该网络的目标是获得一个算法过程近似某个函数f*。以线性回归为例,通过对一系列的真实映射进行处理,需要定义一个新的映射 ,并且对θ值进行优化,使得该映射能够得到最佳的函数近似。
这种模型被称作向前,是因为信息流过x,并流经定义为f的算法计算过程,最终达到输出y,输出结果y并没有与模型本身f进行反馈连接,即该网络是单向传递的。如果当前的网络包含了反馈连接时,就被称作循环神经网络。
前馈神经网络被称作网络,是因为它们通常用多个函数复合在一起来表示,该函数过程形成一个有向无环图。比如我们有多个函数在一个链上形成的结构,被称作第一层,被称作第二层,以此类推。链的全长被称为深度。前馈网络的最后一层称为输出层,在神经网络训练的过程中,我们让去匹配的值。训练数据为我们提供了在不同训练点上的取值的、含有噪声的的近似实例。每个样例x都伴随着一个标签