一些名词解释

• Latent space（隐空间）

       压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征，这种压缩后的状态就是数据的 隐空间表示。

      下图将三维数据映射到了二维隐空间，隐空间内相似样本更加靠近

       自动编码器是一种基于 数据在隐空间的距离 训练的网络模型，其目标是输出和输入数据类似的内容，类似于一个恒等函数。下图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中，然后准确地重建表示；即先从数据空间映射到隐空间，再从隐空间映射到数据空间。

• 多头注意力机制（MSA)

       注意力机制相当于提取每个元素相互之间的联系或关系，利用多头可以在多个维度下寻找合适的参数、效果更好。