FastText原理总结

FastText具有简单的模型，使其在小数据集上也有不错的预测效果。

1 传统分类网络

句子分类的一个简单有效的模型是将句子表示为词袋 (BoW) 并训练线性分类器，例如逻辑回归或支持向量机。

**问题：**但线性分类器不在特征和类之间共享参数，这可能会限制它们在大输出空间的上下文中的泛化。

**解决办法：**是将线性分类器分解为低秩矩阵或使用多层神经网络。

2 FastText

该模型就使用了浅层神经网络。整体架构如图所示：

可以看到，整个网络只有三层：输入层，隐藏层和输出层。

2.1 输入

FastText的输入维度是input1(batch_size, sequence length, dim_in)
quence length, dim_in)