xiannvshuishui的博客

原创 Fasttext 原理+比较（CBOW）+实战

一、Fasttext 原理+比较+实战 训练快原因：fastText在输入时，将单词的字符级别的n-gram向量作为额外的特征；在输出时，fastText采用了分层Softmax。 1、Hierarchical softmax 提出： 1.1 Huffman code： （a）为使用定长编码 （b）为使用变长编码（huffman） Huffman 的构造过程： 1.3 通过构建huffman树来计算某词/标签出现的概率 7为非叶节点数，50为隐层维