论文阅读笔记 Transfer learning for sequence tagging with hierarchical recurrent networks

论文地址 https://arxiv.org/abs/1703.06345

论文中的项目代码地址 https://github.com/kimiyoung/transfer

本文探讨了神经序列标记器的转移学习问题，其中使用具有丰富注释的源任务（例如，Penn Treebank上的POS标记）来改善具有较少可用注释的目标任务的性能（例如，POS标记为微博）。

1、介绍

有没有办法通过共享模型参数和特征表示与另一个任务来利用神经网络的通用性来提高任务性能？
为了解决上述问题，我们研究了转移学习设置，旨在通过与源任务的联合培训来提高目标任务的性能。我们提出了一种基于深层次递归神经网络的转移学习方法。我们研究了跨域（cross-domain），跨应用（cross-application）和跨语言(cross-lingual)迁移，并为每种情况提供参数共享架构。

2、相关工作

自然语言处理（NLP）任务的转移学习，基于资源的迁移（resource-based transfer）和基于模型（model-based transfer）的迁移有两种常见的范例（paradigms）。基于资源的迁移主要限于以前的工作中的跨语言转移，并且没有广泛的研究将基于资源的方法扩展到跨域和跨应用设置。
（Peng＆Dredze（2016）研究了基于递归神经网络的中文命名实体识别和分词之间的转移学习。PS: 这个是本论文中引用的与中