fastText原理及实践

fastText原理及实践

预备知识

Softmax回归

Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广。

分层Softmax

标准的Softmax回归中，要计算 $y=j$ 时的Softmax概率： $P(y=j)$ ，我们需要对所有的 $K$ 个概率做归一化，这在 $|y|$ 很大时非常耗时。于是，分层Softmax诞生了，它的基本思想是使用树的层级结构替代扁平化的标准Softmax，使得在计算 $P(y=j)$ 时，只需计算一条路径上的所有节点的概率值，无需在意其它的节点。
下图是一个分层Softmax示例：

树的结构是根据类标的频数构造的霍夫曼树。$K$ 个不同的类标组成所有的叶子节点，$K-1$ 个内部节点作为内部参数，从根节点到某个叶子节点经过的节点和边形成一条路径࿰