Deep Learning 学习笔记2：深度前馈网络（一）

    深度前馈网络(deep feedforward network)，也叫做前馈神经网络(feedforward neural network)，或者多层感知机(multilayer perceptron, MLP)，是典型的深度学习模型。基本上所有的深度学习算法的过程都可以定义为：数据集的输入→求代价函数→最优化处理→得到模型。前馈网络也类似：该网络的目标是获得一个算法过程近似某个函数f*。以线性回归为例，通过对一系列的真实映射进行处理，需要定义一个新的映射 ,并且对θ值进行优化，使得该映射能够得到最佳的函数近似。

    这种模型被称作向前，是因为信息流过x，并流经定义为f的算法计算过程，最终达到输出y,输出结果y并没有与模型本身f进行反馈连接，即该网络是单向传递的。如果当前的网络包含了反馈连接时，就被称作循环神经网络。

    前馈神经网络被称作网络，是因为它们通常用多个函数复合在一起来表示，该函数过程形成一个有向无环图。比如我们有多个函数在一个链上形成的结构,被称作第一层，被称作第二层，以此类推。链的全长被称为深度。前馈网络的最后一层称为输出层，在神经网络训练的过程中，我们让去匹配的值。训练数据为我们提供了在不同训练点上的取值的、含有噪声的的近似实例。每个样例x都伴随着一个标签