很多同学对于什么是Embedding非常难以理解,明明是一个向量,为什么不叫向量?
难道是故意取一个不同的名字以彰显创新性?
故事是这样的:
以前处理文档的时候,一个词通常采用one-hot的方式来表达,即用词表集合大小(|V|)这么大的向量来表示一个词,这个向量里面只有一个维度的值是1,其它维度的值全部是0;也就是说,采用了一个|V|这个大的向量来表示一个词,这个|V|通常非常大(过万),而Word Embedding学习得到的向量通常都只有300维或者150维,相对之前的向量表示其实非常的小了,这就相当于把一个高维的向量压缩到了一个低维的空间,即就是Embedding。如果你还是难以理解Embedding(中文意思“嵌入”),你可以看下面这个图,把一个三维的西红柿啪叽扔到一个二维的黑板上,相当于把三维的东西嵌入(embed)到了一个二维的空间中。
这个embedding的嵌入,其本意就是如此。
工作了之后,时间不够用了好久没有更新了,希望坚持更新下去~