“Datawhale X 李宏毅苹果书AI夏令营”

第 6 章 自注意力机制

讲完了卷积神经网络以后，我们要讲另外一个常见的网络架构——自注意力模型（selfattention model）。目前为止，不管是在预测观看人数的问题上，还是图像处理上，网络的输入都是一个向量。如图 6.1 所示，输入可以看作是一个向量，如果是回归问题，输出是一个标量，如果是分类问题，输出是一个类别。