fastText
定义
fastText是一个单隐层的线性分类器,结构上是CBOW的一个简单改进,将输出由中心词改为了分类标签,输入改为整个句子的n-gram(分词)。
关于CBOW结构可以参见之前的文章词嵌入模型word2vec
结构
与CBOW结构的不同点
不同点包括:
- 输入层不再是滑动窗口的上下文单词,而是整个句字的分词(包括分字和字符层级的分词)
- 输出层不再是中心词,而是分类标签,意味着输出矩阵不再是 V ∗ D V* D V∗D,而是 N ∗ D N * D
fastText是一个单隐层的线性分类器,结构上是CBOW的一个简单改进,将输出由中心词改为了分类标签,输入改为整个句子的n-gram(分词)。
关于CBOW结构可以参见之前的文章词嵌入模型word2vec
不同点包括: