NLP 编码方式 One-hot独热编码(人为规定) 特征系稀疏 词之间相互独立 不能表征词与词之间的关系,one-hot之间正交 Embedding编码(词向量矩阵) 特征稠密 能够表征词语词之间的互相关系 泛化性更好(one-hot与之相比就是完全命中),支持语义计算 词监督词向量方法 词向量模型(Word2Vec) skip-gram(自监督学习) skip-gram目标是:最大化上下文单词的预测概率 skip-gram过程如下图所示: