神经网络结构盘点Neural Networks Zoo

本文介绍了各种神经网络架构,包括前馈网络、径向基函数网络、霍普菲尔德网络、马尔可夫链、玻尔兹曼机、受限玻尔兹曼机、自编码器、稀疏自编码器、变自编码器、去噪自编码器、深度信念网络、卷积神经网络、解卷积神经网络、深度卷积逆向图网络、生成式对抗网络、循环神经网络、长短期记忆网络、门控循环单元、神经图灵机、双向循环神经网络、深度残差网络、回声状态网络和液态机。这些网络各有特点,广泛应用于机器学习和人工智能领域。
摘要由CSDN通过智能技术生成

原文地址:图文并茂的神经网络架构大盘点:从基本原理到衍生关系

http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719170&idx=1&sn=68b6b7f87677f5287b6e5a306409653b&chksm=871b07bcb06c8eaa0a649d7d3fd7963423dd4ea51b6e7711bc63653a528fbf196566345ae064&scene=21#wechat_redirect

一、Neural Networks Zoo

将这些架构绘制成节点图的一个问题:它并没有真正展示这些架构的工作方式。

列出一份完整的列表实际上是不可能的,因为新架构一直在不断出现。所以尽管这份清单能为你提供人工智能世界的一些见解,但无论如何请不要认为这份清单是全面的;尤其是当你在这篇文章写出后很久才读到时(注:原文发表于 2016 年 9 月 14 日)。

二、神经网络架构简介

1. 前馈神经网络 FF

前馈神经网络(FF 或 FFNN:Feed Forwardneural networks)是非常简单的:它们从前向后馈送信息(从输入到输出)。神经网络常被描述为层级形式,其中的层(layer)可能是输入层、隐藏层或输出层。一个单独的层不存在什么连接(connection),而通常相邻的两个层是完全连接的(一个层的每一个神经元都连接到另一个层的每一个神经元)。其中可以说是最简单的实际网络具有两个输入单元和一个输出单元,其可用于对逻辑门进行建模。人们常常通过反向传播(back-propagation)来训练 FFNN,从而让该网络获得配对的数据集——「输入的内容」和「我们想要得到的输出」。这被称为监督学习(supervised learning),其相反的方法被称为无监督学习(unsupervised learning),其中我们只需要给出输入然后让网络自己填补空白。被反向传播的误差(error)常常是输入和输出之间差分(difference)的某种变体(如 MSE 或只是线性差分)。如果该网络有足够的隐藏神经元,那么理论上它总是能够建模出输入和输出之间的关系。实际上它们的使用存在很大的限制,但它们常被用来与其它网络结合以构建新的网络。

2. 径向基函数 RBF

径向基函数(RBF: Radialbasis function)网络是使用径向基函数作为激活函数(activation function)的 FFNN。这不意味着它没有用处,但大部分带有其它激活函数的 FFNN 都没有自己的专用名称。这主要是因为人们在正确的时间发明了它。

3. 霍普菲尔德网络 HN

霍普菲尔德网络(HN: HopfieldNetwork)是一种每一个神经元和其它每一个神经元都有连接的网络;其中所有的节点都是全功能的。在训练之前,每一个节点都是输入;在训练过程中,每一个节点都是隐藏;之后它们都是输出。这种网络的训练是:将神经元的值设置成我们想要的模式,从而计算出权重(weight)。之后权重便不再变化。一旦为一种或多种模式进行了训练之后,这种网络总是会收敛成其学习过的一种模式,因为这种网络只能稳定在这些状态,请注意它并不是符合预期的状态。因为该网络的总「能量(energy)」或「温度(temperature)」在训练过程中会逐渐减小,所以它总会一部分接一部分地稳定下来。每一个神经元都一个可以扩展到这个温度的激活阈值,而如果该神经元的输入总和超过了该阈值,那么输入就会使神经元从两个状态(通常是 -1 或 1,有时候是 0 或 1)之中选择一个。网络的更新可以同步完成,但更常见的是一个接一个更新神经元。如果是一个接一个地更新,就会创建一个公平随机(fair random)的序列来组织哪些单元以哪种顺序更新(公平随机是指所有(n)的选择在每 n 个项中只恰好发生一次)。这样你就能分辨网络何时达到了稳定(收敛完成):一旦每一单元都被更新后而其中没有任何改变,那么该网络就是稳定的(即退火了的(annealed))。这些网络常被称为联想记忆(associative memory),因为其会收敛到与输入最相似的状态;人类看到半张桌子就能想象出另一半,类似地,如果给这种网络提供半张桌子和一半噪声,那么该网络就能收敛出一张桌子。

4. 马尔可夫链 MC

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值