【阅读笔记】On the Dimensionality of Word Embedding

Yin Z , Shen Y . On the Dimensionality of Word Embedding[J]. 2018.
https://github.com/ziyin-dl/word-embedding-dimensionality-selection

引入

本文是探讨 Word Embedding 维度的 bias-variance trade-off，提出了 Pairwise Inner Product (PIP) loss 来作为 Word Embedding 的指标，并且探讨一些 Word Embedding 方法的鲁棒性。
本文基于下面两个 preliminaries：

• Word embeddings 是 unitary-invariant 的（体现了旋转特性不变，具体而言就是进行酉变换，就是词向量乘一个酉矩阵，不改变词向量特性。酉矩阵：$U{U}^T=U^{T}U=Id$）
• 大多数 Word Embedding 是共现矩阵显式或隐式的低秩近似
  • Latent Semantics Analysis (LSA) 是将共现矩阵 SVD 分解为 $M=UD{V}^T$，然后取$U_{1:k}{D}_{1:k}^{\alpha }$作为 Embedding（显式）
  • Skip-gram 和 GloVe 都是对 Pointwise Mutual Information (PMI) matrix 用低纬的向量的乘积作为矩阵元素的近似（隐式）

PIP Loss: a Novel Unitary-invariant Loss Function for Embeddings

下面先给出两个定义：

• 对于给定的 embedding matrix $E$，定义 Pairwise Inner Product (PIP) matrix 为 $PIP(E)=E{E}^T$
• 定义 PIP loss 为 $||PIP(\hat{E})-PIP(E)||$（元素之间的均方根，$\hat{E}$为用给定数据训练的词向量，$E$为理想下的词向量，两个 Word Embedding 越相似，PIP loss 越小）

How Does Dimensionality Affect the Quality of Embedding?

这一部分是理论推导，太数学了，我按我的理解翻译成比较通俗的话，理论推导暂时舍去，有啥理解不对的地方希望有缘人指正。
由于 Word embeddings 的本质是对共现矩阵$M$的低阶近似，那么可以看作是$E=U_{1:d}{D}_{1:d}^{\alpha }$，$\alpha$是由词向量方法确定的，