8种神经网络架构

机器学习方法：不去手动编写程序对每个特定任务，我们首席大量样本，对给定输入确定正确的输出就行。机器学习算法利用这些样本得到一个程序就可以完成特定任务。

1-Feed Forward Neural Networks
这是在实际应用中最常见的类型的网络。第一层是输入最后一层是输出。若超过多于一层的隐藏层，我们称为深度神经网络。计算一系列转换。在每一层的神经元的活动是上一层活动的非线性函数。

2-循环网络
循环网络在其连接图中具有有向圈。这意味着我们可以返回到我们开始的地方。循环网络具有复杂的动态性并且这使得它们很难训练，但它们在生物学上更逼真。循环网络是种很自然的方法去建模序列数据。它们等于深度网络在每个时间切片上只有一个隐藏层，它们在每个时间切片中使用相同的权重，并且在每个时间切片得到输入。它们能够很长时间记忆在隐藏状态中信息，但很难训练。

3对称地连接网络
类似循环网络，但是单元之间的连接是对称的（它们具有相同的权重在双向中）。对称网络比循环网络更容易分析，没有隐藏单元的对称地连接网络称为:”Hopfield Nets” 具有隐藏单元的对称连接网络称为boltzmann machines。

1 感知机
在标准统计模式识别范式中，我们首先转换输入向量到一个特征激活值向量。然后使用基于通感的手工程序来定义特征。接下来，我们学习如何赋权每个特征激活值来得到单个标量值。若这个值超过某些阈值，我们决定该输入向量是正样本关于目标类别。然而感知机具有局限：若通过手工方式选择特征，并且使用足够特征，你可以做任何事。对于二元输入向量，我们能有一个分离的特征单元对于每个二元向量（指数级）所以我们可以做任何判别在二元输入向量。但一旦手工特征确定，它们具有很强的局限关于感知机所能学习的内容上。