词向量学习笔记（三）FastText

词向量学习笔记（三）FastText

一、概述

  FastText是Facebook于2016年开源的一个词向量计算和文本分类工具，提供简单而高效的文本分类和表征学习的方法，典型应用场景是“带监督的文本分类问题”。在文本分类任务中，FastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。在标准的多核CPU上，能够训练10亿词级别语料库的词向量在10分钟之内，能够分类有着30万多类别的50多万句子在1分钟之内。
  FastText结合了自然语言处理和机器学习中最成功的理念。这些包括了使用词袋以及n-gram袋表征语句，还有使用子词(subword)信息，并通过隐藏表征在类别间共享信息。另外采用了一个softmax层级(利用了类别不均衡分布的优势)来加速运算过程。
  FastText与基于神经网络的分类算法相比有如下优点：

• FastText在保持高精度的情况下加快了训练速度和测试速度
• FastText不需要预训练好的词向量，FastText会自己训练词向量
• FastText两个重要的优化：Hierarchical Softmax、N-gram

二、FastText模型原理

2.1 FastText架构

  FastText模型架构和word2vec中的CBOW很相似，不同之处是FastText预测标签，而CBOW预测的是中间词，即模型架构类似但是模型的任务不同。

  如上图所示，其中$x_1,x_2,\dots ,x_{N-1},x_N$表示一个文本中的n-gram向量，每个特征是词向量的平均值。此处用全部的n-gram去预测指定类别。

2.1 Softmax回归和层次Softmax

  Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广。
  在逻辑回归中，有m个被标注的样本： { ( x ( 1 ) , y ( 1 ) , . . . , x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)},...,x^{(m)},y^{(m)})\} { (x(1),y(1),...,x(m),y(m))}，其中$x^{(i)}\in R^n$。因为类标是二元的，所以有 y i ∈ { 0 , 1 } y^{i} \in \{0,1\} yi∈{ 0,1}。假设有如下形式：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$。
  代价函数如下：
$$J(\theta )=-[\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

  而在Softmax回归中，类标是大于2的，因此在训练集 { ( x ( 1 ) , y ( 1 ) , . . . , x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)},...,x^{(m)},y^{(m)})\} { (x(1)