fastText中常见问题汇总

fastText中常见问题汇总：
1、什么是fastText
fastText是一个用于文本分类和词向量表示的库，它能够把文本转化成连续的向量然后用于后续具体的语言任务，目前教程较少！

2、为什么训练的模型非常大
fastText对字和字符串使用hash表，hash表的大小将直接影响模型的大小，可以通过选项-hash来减少词汇hash表的大小，一个可选的好参数时20000。另一个影响模型大小重要的因素是训练向量的维度大小(-dim)，如果维度缩小模型将大大减小，但同时也会很大程度影响模型的性能，因为向量维度越大则捕获的信息越多，当然还有一种将模型变小的方法是使用量化选项(-quantize)，命令如下所示：

./fasttext quantize -output model
3、模型中使用单词短语而不是单个单词最佳方式是什么
目前使用单词短语或句子最好的方式是使用词向量的bow(bag of words),另一种方式例如New York，我们可以将其处理成New_York也会有帮助

4、为什么fastText甚至可以为语料库中未出现的单词产生词向量
fastText一个重要的特性便是有能力为任何单词产生词向量，即使是未出现的，组装的单词。主要是因为fastText是通过包含在单词中的子字符substring of character来构建单词的词向量，正文中也有论述，因此这种训练模型的方式使得fastText可以为拼写错误的单词或者连接组装的单词产生词向量

5、为什么分层softmax在效果上比完全softmax略差
分层softmax是完全softmax的一个近似，分层softmax可以让我们在大数据集上高效的建立模型，但通常会以损失精度的几个百分点为代价，

6、可以在GPU上运行fastText项目吗
目前fastText仅仅可运行在CPU上，但这也是其优势所在，fastText的目的便是要成为一个高效的CPU上的分类模型，可以允许模型在没有CPU的情况下构建

7、可以使用python语言或者其他语言使用fastText嘛
目前在GitHub上有很少的关于fastText的其他语言实现的非官方版本，但可以负责任的说，是可以用tensorflow实现的

8、可以在连续的数据集上使用fastText吗
不可以，fastText仅仅是用于离散的数据集，因此无法直接在连续的数据集上使用，但是可以将连续的数据离散化后使用fastText

9、数据中存在拼写错误，我们需要对文本进行规范化处理吗
如果出现的频率不高，没有必要，对模型效果不会有什么影响

10、在模型训练时遇到了NaN，为什么会这样
这种现象是可能出现的，很大原因是因为你的学习率太高了，可以尝试降低一下学习率直到不再出现NaN

11、系统无法编译fastText，怎么处理
尝试更新一下编译器版本，很大可能就是因为编译器太旧了

12、如何完全重现fastText的运行结果，为什么每次运行的结果都有些差异
当多次运行fastText时，因为优化算法异步随机梯度下降算法或Hogwild,所以每次得到的结果都会略有不同，如果想要fastText运行结果复现，则必须将参数thread设置为1，这样你就可以在每次运行时获得完成相同的性能
--------------------- 
作者：feilong_csdn 
来源：CSDN 
原文：https://blog.csdn.net/feilong_csdn/article/details/88655927 
版权声明：本文为博主原创文章，转载请附上博文链接！