NeurIPS 2019 | 适用于众多模型的Embedding正则化方法

©PaperWeekly 原创 · 作者｜崔克楠

学校｜上海交通大学博士生

研究方向｜异构信息网络、推荐系统

本文为 NeurIPS 2019 的文章，提出了一种对 embedding 的参数进行的正则化技术。

在许多神经网络中，底层的 embedding 层的参数占据了网络中参数的大部分，例如基于 BERT 额模型中的 embedding 高维向量，例如 BERT-Base 中使用 768 维向量表征单词，在推荐系统中，用户和商品也往往使用低维向量来表示，例如 50 到 100 维左右。前者中单词的数量往往在 15000 左右，而后者推荐系统中，商品和用户的数量往往能够达到数亿的级别。 

本文提出了一种基于数据驱动的 embedding 正则化技术，称为 Stochastic Shared Embedding (SSE)，能够很好地和 SGD 这些算法结合，使用形式简单能够使用于许，多现有的网络，并且对他们的改动幅度也很小。

论文标题：Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers

论文来源：NeurIPS 2019

论文链接：https://arxiv.org/abs/1905.10630

源码链接：https://github.com/wuliwei9278/SSE-PT

论文方法

从下图可以预览该方法，相较于普通的网络，作者在 embedding layer 后添加了 SSE layer。而 SSE layer 的具体操作则是，在训练时随机地对两个 embedding 进行替换，而在测试时则关闭该操作。

用式子的形式可以表示为如下所示：

S 代表优化目标，下标 i 代表第 i 个训练样本，j 和 k 为 embedding 的索引 index（例如对于 BERT 的情感分析任务，训练样本用 i 表示，训练样本