FastText具有简单的模型,使其在小数据集上也有不错的预测效果。
1 传统分类网络
句子分类的一个简单有效的模型是将句子表示为词袋 (BoW) 并训练线性分类器,例如逻辑回归或支持向量机。
**问题:**但线性分类器不在特征和类之间共享参数,这可能会限制它们在大输出空间的上下文中的泛化。
**解决办法:**是将线性分类器分解为低秩矩阵或使用多层神经网络。
2 FastText
该模型就使用了浅层神经网络。整体架构如图所示:
可以看到,整个网络只有三层:输入层,隐藏层和输出层。
2.1 输入
FastText的输入维度是input1(batch_size, sequence length, dim_in)
quence length, dim_in)