fastText

发明者:Mikolov在facebook AI实验室于2016提出了fastText模型。

论文标题:Bag of Tricks for Efficient Text Classification

模型结构： 类似于word2vec中Cbow模型的结构，Cbow是根据contexts预测目标词，而fasttext是根据contexts预测label。

    优点：快，切能和其他模型有差不多的训练指标。

        第一个是hierarchical softmax来减小计算的时间复杂度。这个方法用到了Huffman树的原理，然后通过Huffman树层次结构减小了时间复杂度从而大大减少了训练时间。

        第二个是用到了n-gram来保存了语序信息。如上图，输入到隐藏层的所有的x都是一个n-gram。将所有的n-gram的embedding加起来求平均，然后丢到隐藏层，最后再丢到输出层的hierarchical softmax里面来得出最后的label。

 

注：现成的包可供调用