word2vec之霍夫曼树的实现

1.      霍夫曼树的基本要点

判定过程最优的二叉树是霍夫曼树。

路径：树中一个结点到另一个结点之间的分支构成这两个结点之间的路径。

路径长度：路径上的分支数目称为路径长度。

树的路径长度：从根结点到每一个叶子结点的路径长度之和就是这棵树的路径长度。

带权值的路径长度：如果树中每一个叶子结点都带有一个权值，则把树中所有叶子的带权路径长度之和称为树的带权路径长度。

 

树的带权值路径长度：

带权路径最小的二叉树就是判定过程最优二叉树，即霍夫曼二叉树。其中，权值越大的叶子结点越接近根结点。

 

2.      Word2vec中霍夫曼树的实现

其中，count存各个词的词频，就是叶子结点的权值；binary存霍夫曼编码，parent_node存各父结点的位置。由于满二叉树的节点数m=2n-1, n为叶子结点数，所以以上3个数组的元素个数均为2*vocab_size-1.前n个存叶子结点，后n-1个存父结点。

 

具体步骤：

以后各次循环如步骤2，直到2n-1也被赋值，整棵树建立完成。

程序如下：

void CreateBinaryTree() {
  long long a, b, i, min1i, min2i, pos1, pos2, point[MAX_CODE_LENGTH];
  char code[MAX_CODE_LENGTH];
  long long *count = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long));  //节点的权重，叶子节点的权重为cn，父节点的权重为其子结点权重和。
  long long *binary = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long));   //表明左右结点，左结点为0，右节点为1.
  long long *parent_node = (long long *)calloc(vocab_size * 2 + 1, sizeof(long long));  //父结点。
  for (a = 0; a < vocab_size; a++) count[a] = vocab[a].cn;
  for (a = vocab_size; a < vocab_size * 2; a++) count[a] = 1e15;
  pos1 = vocab_size - 1;
  pos2 = vocab_size;
  // Following algorithm constructs the Huffman tree by adding one node at a time
  for (a = 0; a < vocab_size - 1; a++) {
    // First, find two smallest nodes 'min1, min2'
    if (pos1 >= 0) {
      if (count[pos1] < count[pos2]) {  //根据词频来确定位置  词频作为权值？
        min1i = pos1;
        pos1--;
      } else {
        min1i = pos2;
        pos2++;
      }
    } else {
      min1i = pos2;
      pos2++;
    }
    if (pos1 >= 0) {
      if (count[pos1] < count[pos2]) {
        min2i = pos1;
        pos1--;
      } else {
        min2i = pos2;
        pos2++;
      }
    } else {
      min2i = pos2;
      pos2++;
    }
    count[vocab_size + a] = count[min1i] + count[min2i];  //把权值赋给父结点
    parent_node[min1i] = vocab_size + a; //定义上面两点的父结点。
    parent_node[min2i] = vocab_size + a;
    binary[min2i] = 1;   //给右结点贴标签。
  }
  // Now assign binary code to each vocabulary word
  for (a = 0; a < vocab_size; a++) {
    b = a;
    i = 0;
    while (1) {
      code[i] = binary[b];  //code存huffman编码。
      point[i] = b;  //point专门存父结点
      i++;
      b = parent_node[b];
      if (b == vocab_size * 2 - 2) break;
    }
    vocab[a].codelen = i;  //huffman编码的长度。  code和codelen可以用于定位词的位置。
    vocab[a].point[0] = vocab_size - 2;
    for (b = 0; b < i; b++) {  //将每个词对应的huffman路径写到point里。
      vocab[a].code[i - b - 1] = code[b];
      vocab[a].point[i - b] = point[b] - vocab_size;  //每个结点都存入其所有的父结点的位置。
    }
  }
  free(count);
  free(binary);
  free(parent_node);
}