Embedding层的作用

转自:(120条消息) 彻底理解embedding_码农的荒岛求生的博客-CSDN博客

假设：我们有一个2 x 6的矩阵，然后乘上一个6 x 3的矩阵后，变成了一个2 x 3的矩阵。

这个过程，我们把一个12个元素的矩阵变成6个元素的矩阵，直观上，大小缩小了一半

embedding层，在某种程度上，就是用来降维/升维的，原理就是矩阵乘法。在卷积神经网络中，可以理解为特殊全连接层操作，跟1x1卷积核异曲同工

也就是说，假如我们有一个100W X10W的矩阵，用它乘上一个10W X 20的矩阵，我们可以把它降到100W X 20，瞬间量级降了10W/20=5000倍！！！

这就是嵌入层的一个作用——降维。

然后中间那个10W X 20的矩阵，可以理解为查询表，也可以理解为映射表，也可以理解为过度表。

接着，既然可以降维，当然也可以升维，或者称为将数据映射到高维空间。为什么要升维？

例如，观察图片时，距离的远近会影响我们的观察效果。同理也是一样的，低维的数据可能包含的特征是非常笼统的，我们需要不停地拉近拉远来改变我们的感受野，让我们对这幅图有不同的观察点，找出我们要的部分。

embedding的又一个作用体现了。对低维的数据进行升维时，可能把一些其他特征给放大了，或者把笼统的特征给分开了。同时，这个embedding是一直在学习在优化的，就使得整个拉近拉远的过程慢慢形成一个良好的观察点。