lulu_Bella的博客

原创 one-hot向量

one-hot编码 这是最简单的一种词向量编码方式。 在训练词向量之前，有一个包含我们需要的所有词的词表。首先，我们对每个词进行编号，假设词表的长度为n，则对于每一个词的表征向量均为一个n维向量，且只在其对应位置上的值为1，其他位置都是0。 虽然简单但是缺点也很明显。 有序性问题：它无法反映文本的有序性。因为语言并不是一个完全无序的随机序列。比如说，一个字之后只有接特定的字还能组成一个有意义的词...