《神经网络与深度学习》第八章学习笔记

8.1、注意力机制

1、大脑中的信息超载问题：人脑每个时刻接收的外界输入信息非常多，包括来源于视觉、听觉、触觉的各种各样的信息。

2、两种注意力

自下而上：汇聚（pooling）

自上而下：会聚（focus）

8.2、人工神经网络中的注意力机制

1、软性注意力机制

2、注意力打分函数

3、注意力机制的变体

硬性注意力

键值对注意力

多头注意力

结构化注意力

指针网络

8.3、注意力机制的应用

1、文本分类

2、机器翻译

3、Image Caption

4、阅读理解

8.4、自注意力模型

1、变长序列的建模

当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络或循环网络来进行编码来得到一个相同长度的输出向量序列。卷积网络和双向循环网络只建模了输入信息的局部依赖关系。全连接模型无法处理变长问题。

2、自注意力

自己attention自己

3、QKV模式

3、多头自注意力模型

8.5、Transformer

1、

2、复杂度分析

Transformer缺点：没法处理太长的文档

3、

8.6、外部记忆

1、大脑中的记忆

记忆：外界信息在人脑中的内部表示

记忆过程：工作记忆（短期记忆），情景记忆，结构记忆（长期记忆）

特点：联想记忆

2、类比

3、记忆网络

记忆增强神经网络

8.7、结构化的外部记忆

1、

2、神经图灵机

图灵机：一种抽象数学模型，可以用来模拟任何可计算问题。

组成：

神经图灵机：把图灵机的每个部件用神经网络来替代，从而使得整个图灵机的架构是可微分的。

3、小结

8.8、基于神经动力学的联想记忆

1、联想记忆：自联想；异联想。

2、神经网络如何学习

3、Hopfield网络

在Hopfield网络中，我们给每个不同的网络状态定义一个标量属性，称为“能量”。

Hopfield网络是稳定的，即能量函数经过多次迭代后会达到收敛状态。

检索过程：给定一个外部输入，网络进过演化，会达到某个稳定状态。

4、使用联想记忆增肌网络容量

既然联想记忆具有存储和检索功能，我们可以利用联想记忆来增加网络容量。

和结构化的外部记忆相比，联想记忆具有更好的生物学解释性。

8.9、总结

1、由于优化算法和计算能力的限制，神经网络在实践中很难达到通用近似的能力。（网络不能太复杂，参数不能太多）

2、