机器学习研究人员需要了解的8个神经网络架构

云栖君导读：本文简要讲述了8种机器学习架构，希望可以给大家带来帮助。

在这篇文章中，我想与大家分享8个神经网络体系结构，我相信任何一个机器学习的研究人员都应该熟悉这一过程来促进他们的工作。

为什么我们需要机器学习?

机器学习对于那些对人类来说太复杂而不能直接编码的任务是必需的。有些任务非常复杂，因此人类不可能明确地计算出所有细微差别并对其进行编码，这是不切实际的。相反，我们向机器学习算法提供大量数据，让算法通过探索数据并搜索一个能够实现程序员设定的模型来解决这个问题。

我们来看看这两个例子：

编写解决问题的程序非常困难，例如在一个混乱的场景中，新的光照条件下，从一个新颖的视角来识别三维物体。我们不知道要写什么程序，因为我们不知道它是如何在我们的大脑中完成的。即使我们知道如何去做，这个程序可能会非常复杂。

很难编写一个程序来计算信用卡交易欺诈的可能性。可能没有任何既简单又可靠的规则。我们需要结合大量的弱规则。欺诈是一个移动的目标，而程序需要不断变化。

然后是机器学习方法：我们不是为每个特定任务手动编写程序，而是收集大量的例子来指定给定输入的正确输出。然后，机器学习算法就会使用这些例子，并生成一个执行该任务的程序。学习算法产生的程序可能与典型的手写程序看起来非常不同。它可能包含数百万的数字。如果我们做得对，该计划适用于新案例以及我们训练的案例。 如果数据发生变化，程序也可以通过对新数据进行训练来改变。你应该注意到，大量的计算现在比付钱给某人编写一个特定任务的程序要便宜。

鉴于此，机器学习最能解决的一些任务包括:

• 识别模式：真实场景中的物体，人脸识别或面部表情，口语单
  

• 识别异常:不寻常的信用卡交易序列，核电站传感器读数异常模式
  

• 预测：未来股票价格或货币汇率，将会感兴趣的电影
  

什么是神经网络？

神经网络是通用机器学习文献中的一类模型。举个例子，如果你参加一个关于机器学习的Coursera课程，神经网络很可能会被覆盖。神经网络是一组特定的算法，对机器学习领域发生了革命性的变化。它们受到了生物神经网络的启发，目前所谓的深层神经网络已经被证明非常有效。神经网络本身就是一般的函数逼近，这就是为什么它们几乎可以应用于几乎任何机器学习问题，其中问题的关键是学习从输入到输出空间的复杂映射。

以下是说服你学习神经计算的三个理由：

1. 要理解大脑的实际工作原理：它非常庞大而且非常复杂，并且当你戳到它时会死掉。所以我们需要使用计算机模拟。

2. 了解受神经元及其适应性连接启发的并行计算风格：这是一种与顺序计算非常不同的风格。

3. 用新的学习算法来解决实际问题:学习算法是非常有用的，即使它们不是大脑实际工作的方式。

在完成着名的Andrew Ng的机器学习Coursera课程后，我开始对神经网络和深度学习产生兴趣。因此，我开始寻找最好的在线资源来了解这些主题，并找到了Geoffrey Hinton的机器学习神经网络课程。如果你是一个深度学习实践者或想要进入深度学习/机器学习世界的人，你应该真的参加这门课程。Geoffrey Hinton毫无疑问是深度学习世界的教父。而且他在这门课程中提供了一些特别的东西。在这篇博客文章中，我想分享我认为机器学习研究人员应该熟悉的课程中的8个神经网络架构，以推进他们的工作。

通常，这些体系结构可以分为3个特定的类别：

1.前馈神经网络

这些是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称它们为“深层” 神经网络。它们计算出一系列改变案例之间相似性的转变。每层神经元的活动都是下层中活动的非线性函数。

2.递归神经网络

它们在它们的连接图中有直接的循环。这意味着你有时可以回到你开始的地方。它们可能有复杂的动态，这可能会使它们很难训练。 它们更具生物现实性。

目前在寻找有效的训练回归网方面有很多的兴趣。递归神经网络是建模时序数据的一种非常自然的方法。它们相当于每个时间片具有一个隐藏层的非常深的网络; 除了它们在每个时间片上使用相同的权重并且它们在每个时间片都得到输入。它们有能力长时间记住隐藏状态的信息，但很难训练它们使用这种潜力。

3.对称连接网络

这些就像递归网络，但是单元之间的连接是对称的（它们在两个方向上具有相同的权重）。对称网络比递归网络更容易分析。 因为它们服从能量函数，所以它们在做的事情上也受到更多的限制。没有隐藏单元的对称连接的网络被称为“霍普菲尔德网络”。具有隐藏单元的对称连接网络称为“玻尔兹曼机器”。

一、感知器

考虑到第一代神经网络，感知器只是单个神经元的计算模型。它们是由Frank Rosenblatt在20世纪60年代早期推广的。它们似乎有一个非常强大的学习算法，并且为它们可以学习的东西做了很多重大的宣传。1969年，Minsky和Papers发表了一本名为《感知器》的书，分析了它们可以做什么并展示了它们的局限性。许多人认为这些限制适用于所有的神经网络模型。然而，感知器学习过程在今天仍然被广泛地应用于包含数百万个特性的巨大特征向量的任务。