embedding 的长短学习

这篇paper很有意思，我们平常使用的embedding 基本上都是定长的，但是想一想对于高频次的特征，其实需要更高维度的emb来表征，但是对于一些低频次的特征，其实不需要那么高维度的emb来表征，容易过拟合，那么怎么来动态的学习这个长度呢，阿里这篇paper就是解决这个事情的，其带来的好处就是节省了存储空间并很好的支持模型特征向量的热启动：

Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer

具体的可以看解读：

[阿里]通过孪生掩码层来高效的学习特征表示向量