基于Huffman树的CBOW模型的理解

上面是从如下地址中截取的内容：https://www.zybuluo.com/Dounm/note/591752#mjx-eqn-eq4

下面说下我对它的理解

还是以“今天  我   和  小明  去   北京   玩” 这句为例

输入层： “小明”的前后三个词向量，即首先要把这些词全部表示成向量

投影层： 将这写词的向量求和，得到的结果就是：

将投影层的向量输入到哈夫曼树中

哈夫曼树怎么来的？ 将语料库中词以及词出现的频率构造一颗哈夫曼树，默认左边(编码为0)是负类，右边(编码为1)是正类，哈夫曼树的叶子节点就是语料库中的所有的词  

将向量Xw输入到哈夫曼树，在每个节点上进行二分类，每个节点上二分类的概率如下

这里的概率是逻辑回归概率模型

那么我们的目标是沿着哈夫曼树找到最终的叶子节点是“小明”， 那么就求出走到“小明”这个叶子节点的路径的概率，其实就是将这条路线上的概率全部乘起来， 然后极大化这个概率

这里也是采用随机梯度上升法

最后要对各个词的词向量进行更新。另外有一点：

哈夫曼树中，节点之间的连线其实也是一个神经网络连线，两个节点的连线其实也是由很多条连线组成，参数θ是一个权重向量