nocturne2333的博客

转载 2020-09-17

词向量也称为词嵌入，是指将词转换成为向量的形式。 为何需要词向量 对于非结构化的数据：音频，图片，文字。前面两种的数据存储方式是天然高维和高密度的，而且数据天然的就非常具有实际意义（相近的数据表示颜色或者音频接近），几乎可以直接进入模型进行处理。但是对于文字来说不同的词如果采用类似LabelEncoder来做的，不同的词ID取值接近并不能有实际的意义表示。而如果采用类似OneHot编码则会导致向量维度过高（词汇量少说也要几万），也过于稀疏，同时也依然难以在数值上表示出不同词之间的关系。 所以我们希望能找到一