Word2Vec之CBOW详解

CBOW介绍

CBOW分为输入层 Input layer 、隐藏层 Hidden layer 、输出层 Output layer 。

一、输入层 Input layer

1、输入的是 One-hot 编码的 vector 。

什么是 One-hot 编码？
One-hot 编码又称一位有效编码，是将文字数字化的过程。举个例子，一个 corpus （语料库）为“ I drink coffee everyday ”。假设将单词放入数组 str ，则该数组 str 长度为4， vector 也就是4维向量。str[0]=“I”，str[1]=“drink”，str[2]=“coffee”，str[3]=“everyday”。把他转换成One-hot编码就是

单词	One-hot 编码
I	[1,0,0,0]
drink	[0,1,0,0]
coffee	[0,0,1,0]
everyday	[0,0,0,1]

2、输入层总共有 C 个 V 维 vector 。C 是由 window size （上下文窗口大小）决定的，window size 代表我们从 target word 的一边（左边或右边）选取词的数量。假设 target word 是 coffee ， window size 为2，那么则在 coffee 左侧和右侧分别选取2个词，则 C=2+2=4。V 表示语料库中词的个数，即 One-hot vector 的维度 V（window size*2=C<=V）。

二、隐藏层 Hidden layer

1、矩阵 W 是 V 行 N 列

V 表示语料库中词的个数，即 One-hot vector 的维度 V
N 是一个任意数字，即最后得到的词向量维度为 N

2、每个 input vector 分别乘以 W 可以分别得到维度为 N 的词向量，然后再求平均值得到隐藏层向量。
3、隐藏层向量乘 W’ （ N 行 V 列），得到一个维度为 V 的向量。

三、输出层 Output layer

输出层是一个 softmax 回归分类器，它的每个结点将会输出一个0-1之间的值（概率），这些所有输出层神经元结点的概率之和为1。

四、I drink coffee everyday 示例图

五、参考文章

1、CBOW 与 skip-gram
2、word2vec是如何得到词向量的？
3、快速笔记：NLP 中的有用术语和概念：BOW、POS、Chunking、Word Embedding
4、理解 Word2Vec 之 Skip-Gram 模型