大话深度学习（一）：初识深度前馈神经网络

大话深度学习（一）：深度前馈神经网络

初识深度前馈神经网络

深度前馈神经网络可简称为前馈神经网络，前馈神经网络最具有代表性的一个样例就是多层感知机（MLP）模型。
前馈神经网络的模型是向前的，模型的输入与输出不存在链接，例如一个输入输出满足一个函数y=f(x),x为输入，y为输出。信息从x经过f（x）到达y，这个过程中f以及x并没有因为y的取值而受到任何的影响。前馈神经网络也可以被扩展成包含反馈链接，这种网络被称为循环神经网络。（RNN），它在自然语言处理类的任务发挥巨大的作用。

全连接与稀疏连接

全连接和稀疏连接都是神经网络模型中相邻的两层单元间的连接方式。全连接是指网络当前层的单元与上一层单元都存在连接。而稀疏连接指的是网络当前层的单元与网络上一层的单元存在部分连接。MLP就是一个全连接的神经网络。而卷积神经网络则采用了稀疏连接。
下面的图片就是一个全连接的网络结构图

传统的线性模型的局限性

神经网络之中相互两层之间的单元如果只采用线性模型，会暴露吹一个问题，多个线性的计算的过程其实用一个线性计算来表示即可，就没有必要去搭建多层的线性网络模型。并且线性模型解决能力的问题有限，当特征数据分布情况比较复杂 的时候，线性模型就失去了分类的能力。这是线性模型最大的局限性，也是深度学习强调非线性的原因所在。推荐一个网页：Tensorflow游乐场 。下面就是使用线性模型来处理简单的二分类问题，可见处理效果非常好。

当数据特征较复杂时候，数据是特征是呈现环形的二分类问题的时候，线性模型在迭代两百多次依然不能正确的数据进行分类。

由此可见传统的线性网络模型不能够满足复杂的分类问题，因此需要对我们的网络模型进行优化。所以接下来我们需要谈谈激活函数，对线性模型变得非线性，以此适应更复杂的问题。
参考资料
Tensorflow 深度学习算法原理与编程实战