吴恩达访谈 - Geoffrey Hinton（个人不懂或是想了解的名词）

1. 快速权重

可以被用于存储最近过去的临时记忆（temporary memories），它们能为过去（past）提供一种在神经角度上可行的实现这种类型的注意（attention）的方式，而且最近研究已经证明过去（past）在序列到序列（seq2seq）模型中非常有用。通过使用快速权重，我们可以避免存储神经活动模式的副本的需求。

2. 真实循环

找不到

3. 胶囊 - segmentation（胶囊网络）

优点：

1. 我们已经了解了卷积神经网络，但是:卷积神经网络要在大量的图像上进行训练(或者它们重复使用了神经网络的一部分)，而胶囊网络可以很好地推广使用更少的训练数据。
2. 卷积神经网络不能很好地处理模糊性，胶囊网络却可以，甚至可以在拥挤的场景中处理的很好。
3. 卷积神经网络在池化层中丢失了大量信息，降低了空间分辨率(参见图2)，因此当输入发生微小的变化，输出基本不变，这是一个在整个网络中必须保留详细信息的问题，例如在语义分割中。如今，这个问题通过围绕CNNs构建复杂的体系结构来解决，来恢复一些丢失的信息。通过胶囊网络，详细的姿态信息(如精确的目标位置、旋转、厚度、倾斜、大小等)将在整个网络中被保存，而不是丢失了之后再恢复，输入的小变化导致输出的小变化——信息被保存，这就是所谓的“等变化(equivariance)”。因此，胶囊网络可以在不同的视觉任务中使用相同简单一致的架构。
4. 最后，卷积神经网络需要额外的组件来自动识别部件属于哪个目标(例如，这条腿属于这只羊)，而胶囊网络为你免费提供部件层次。

4. 变分法

变分法是17世纪末发展起来的一门数学分支，是处理函数的数学领域，和处理数的函数的普通微积分相对。它最终寻求的是极值函数：它们使得泛函取得极大或极小值。变分法起源于一些具体的物理学问题，最终由数学家研究解决。有些曲线上的经典问题采用这种形式表达：一个例子是最速降线，在重力作用下一个粒子沿着该路径可以在最短时间从点A到达不直接在它底下的一点B。在所有从A到B的曲线中必须极小化代表下降时间的表达式。

5. slow feature

慢特征分析（slow feature analysis,SFA）是 wiskott 在2002年的一篇论文里提出来的无监督学习方法,它可以从时间序列中提取变化缓慢的特征，被认为是学习时间序列最显著特征的一种方法。

6. 符号化AI（纽约时报）

术语“人工智能”是在1956年夏天在达特茅斯的一种宪法惯例中诞生的，当时大多数研究人员认为创造AI的最佳方法是写一个非常大而全面的程序，将逻辑推理的规则和有关世界的知识写入其中。比方说，如果你想把英语翻译成日语，你需要把所有的英语语法规则、牛津英语词典中包含的所有定义、所有的日语语法规则，和日语字典中的所有单词都编入计算机。这种观点通常被称为“符号化AI”。因为它的认知定义是基于符号逻辑的，但它已经有些过时，只能算作是“好的老式的AI”。

这种老式方法有两个主要问题。一是，它非常耗费人力和时间；二是，它只有在规则和定义非常清楚的领域（比如数学或象棋）才真正起作用。然而，如果翻译采用这种方法，效果会很差，因为我们平时说的话没办法跟词典上的规则和定义完全对应。比方说，这样的系统可能会把“农业部长”翻译为“农业牧师”。但是，对于数学和国际象棋来说，这种老式方法就很奏效。

不过，这种老式方法的系统确实有限。在20世纪80年代，卡内基梅隆的机器人研究员指出，让计算机做成人能做的事情很简单，但让计算机做一个1岁的小孩可以做的事情却几乎是不可能的，比如拿起一个球或识别一只猫。到了20世纪90年代，尽管计算机能够在国际象棋上战胜世界冠军，我们离真正的人工智能还差得远。

7. mega flops

一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算

8. 受限Boltzmann机

受限玻尔兹曼机（英语：restricted Boltzmann machine, RBM）是一种可通过输入数据集学习概率分布的随机生成神经网络。
受限玻兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同，受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。
受限玻尔兹曼机是玻尔兹曼机(Boltzman machine，BM)的一种特殊拓扑结构。BM的原理起源于统计物理学，是一种基于能量函数的建模方法，能够描述变量之间的高阶相互作用，BM的学习算法较复杂，但所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础。BM是一种对称耦合的随机反馈型二值单元神经网络，由可见层和多个隐层组成，网络节点分为可见单元(visible unit)和隐单元(hidden unit)，用可见单元和隐单元来表达随机网络与随机环境的学习模型，通过权值表达单元之间的相关性