双曲嵌入论文与代码实现——1. 数据集介绍

双曲嵌入论文与代码实现

由于双曲嵌入相关的文章已经有了一系列的代码。本篇博客主要目的实现最开始的双曲嵌入论文，将论文中有些直接写出来的内容进行了细节的推导，同时实现对应的代码。

• 学习的文章：Poincaré Embeddings for Learning Hierarchical Representations
• 主要参考的代码：
  • poincare_embeddings
  • gensim – Topic Modelling in Python - poincare.py

由于有些代码难以运行，有些比较难读（封装程度非常高）甚至有些代码写得存在一些问题。因此我们重新按照论文的设置，利用Python重现了对应的方法，并成功运行，同时进行绘图展示。

1. 目标

我们有一些层级结构的网络类型数据，如何能够根据每个词的上下结构路径，将每个词语能够用一个向量来替换，换句话说，就是将词映射为实数域中的向量（词嵌入，word embedding）。最简单的想法是使用one-hot词向量，其构造起来很容易，但通常并不是一个好选择。主要的原因是，one-hot词向量无法准确表达不同词之间的相似度，同时也不能刻画词语之间的层次结构。而在另外的方法中，采用最多的是在欧式空间里进行嵌入（word2vec），这种方式的embedding可以有效表示出词语间的相似性，但却依旧难以刻画出词语之间的层次结构。

这时候为了既能够衡量词与词之间的相似性，又能衡量这种词与词之间的层次结构，引入了双曲几何的思想，在双曲空间中进行嵌入。双曲嵌入表征层级结构的能力就要比欧氏空间嵌入的能力高得多，同时需要的维数却更少。

Python 代码依赖库

为了能够顺利跑通后面的代码，这里先展示出代码需要依赖的库：

import nltk
# nltk.download('wordnet') # 第一次运行需运行此命令，安装wordnet数据集
from nltk.corpus import wordnet as wn
from math import *
import random
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.lines as mlines
import networkx as nx

2. 数据集

训练数据集采用wordnet中的数据进行实现，相关的数据说明在上周的文档中已经进行了介绍，这里不再进行赘述。

由于整个的wordnet数据集比较大，为了测试代码，我们只使用哺乳动物（mammal）及其相关的分支进行学习。首先我们看看数据集长什么样。由于我们只需要用到层次结构信息，因此我们只需将数据集里面每个哺乳动物相关名词的子节点与父节点的关系进行读取与构建。

network = {
   } # 构建层级网络
last_level = 8 # 最深的层设置为8层
levelOfNode = {
   } # 数据的层级信息，0为哺乳动物（根节点），1为哺乳