YcGiser的博客

原创 "A Neural Probabilistic Language Model"--论文模型解释

目录 1.神经概率语言模型 2.模型的表示 3.模型的求解 1.神经概率语言模型 One-hot方式的word表示能够简单的将词进行向量化表示，但是随着词汇表（Vocabulary）的增大表示一个词的向量成为一个高维的超稀疏向量（只有一个维度为1，其他维值都为0）。这样的词表示方法不仅占用大量内存，而且不能对词之间的想似关系进行度量。分布式表示方法能够应对这样的维度灾难（curse of...