weixin_43535863的博客

原创 Word2Vec

Lecture 1: Introduction and Word Vectors One-hot 主要思想：means one 1, the rest 0s. 缺点：①如果想表示合理大小词汇，向量维度太大； ②两个不同词对应的向量是正交的，数学上无法描述他们的相似性。 Word2Vec Idea ①有一个很大的文本语料库； ②每个词在固定词典中由一个向量表示，我们随机初始化向量； ③遍历文本中的每个位置t，文本有一个中心词c和上下文本词o； ④使用c和o之间词向量的相似性，计算给定c时，出现o的概率； ⑤