Hinton Neural Networks课程笔记2a：三种主要的神经网络框架之前向网络、循环神经网络和对称网络

这一节主要是介绍了三种主要的神经网络模型：前向网络、循环神经网络和对称网络

前向网络 Feed-forward Neural Networks

如果把神经元看做节点，把神经元的输出到另一个神经元的输入看做有向边，那么神经网络可以看做是一个有向图，一个有向图没有圈（circle）的神经网络就是前向网络。前向网络应用广泛，也十分经典，常见的CNN就是一个典型的前向网络；全连接网络则为相邻两层节点之间都有权重连接的前向网络。下图即为一个经典的两层前向网络（但不是全连接网络）：

当层数逐渐加深之后，我们就称之为深度网络（deep neural networks）（通常存在两个隐层即可称为深度网络）。
前向网络每一层的作用往往是计算一种变换，对输入做变换之后得到一种新的表示输出。而这种变换的目的是为了后续任务更容易完成，例如使得同一类的输入在变换后空间上更加接近，而不同类的输入变换后更加疏离（为了完成这种任务，通常需要使用非线性激活函数，从而使得网络可以学习一种非线性变换）。（这种变换可以损失也可以保留信息，取决于权重矩阵的秩）