GILE-一种泛化的引入Label Embedding的文本分类方法

背景

当前文本分类的方法和框架有很多，但往往缺乏了对label本身的关注，所以分享一篇相关的论文，希望抛砖引玉。原文名称：《GILE: A Generalized Input-Label Embedding for Text Classification》。

目的

本文就是使用了一些新的连接input和label的方式，更好地去做文本分类，同时也能应用于unseen的样本中。

模型

1.先获取label的embedding; ε ∈ IR|Y|×d ，其中label的每个class的embedding就是label每个word的embedding的平均。
2.再将Input的document做成向量 h ∈ IRdh，这个h是将word—(全联接) —> sentence —(全联接) —> document.
3.Label的部分，通过U ∈ IRd×dj 和 bu ∈ IRdj ，将每个类的ej进行点乘U，再加上b，再经过relu/Than得到新的向量ej‘(1, dj). 经过Y个类的处理后
得到ε’ ∈ IR|Y|×dj
4.Input document的部分，通过V ∈ IRdj×dh 和 bv ∈ IRdj ，再经过relu/Than得到h‘(1, dj).