m0_55979833的博客

原创 NLP Embedding，CBOW

​ NLP任务中需要将词以向量方式表示（嵌入数学空间中，word embedding)，最原始的是one-hot编码，但是会导致词向量的维度太大，所以通常会使用分布式表示。本文主要围绕向量化方法word2vec中的CBOW展开。​ 总体而言，Word2Vec是借助预测词的过程，根据中间词与上下文之间的关系来训练Embedding矩阵，从而达到将One-Hot编码降维的效果，避免词向量过于冗长，降低复杂度。注意，word2vec的最终目的是那个embedding矩阵。