使用RNN解决NLP中序列标注问题的通用优化思路

 

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/

 

                                                     author: 张俊林 

 

                                       （想更系统地学习深度学习知识？请参考：深度学习枕边书）

序列标注问题应该说是自然语言处理中最常见的问题，而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前，传统的最常用的解决序列标注问题的方案是最大熵、CRF等模型，尤其是CRF，基本是最主流的方法。随着深度学习的不断探索和发展，很可能RNN模型会取代CRF的传统霸主地位，会成为解决序列标注问题的标配解决方案。

 

本文主要抽象出利用RNN解决序列标注问题的通用优化思路。这个RNN优化思路应该说是使用场景非常广泛，目前NLP中绝大多数问题都可以套用这套优化思路来统一解决问题。它有个独特的好处，就是说只要你构建好完整的这一套优化模型，绝大多数NLP的问题，包括分词、词性标注、命名实体识别、关键词抽取、语义角色标注等等，等于说问题已经被解决了，只需要你使用不同问题对应的训练数据跑一遍，就等于说上面问题的实际解决工具你就拥有了，而不用像传统模型一样还需要不断定义问题特征模板等，这就是End-to-End的好处。

 

再啰嗦两句，为什么说RNN一定会取代CRF？当然这不代表CRF完全会被抛弃，以后一定有人去研究怎么结合RNN和CRF，这个估计也没有疑问。但是RNN取代CRF获得主流地位是一定的，原因就是上面说的DL的End-to-End的优势。意思是，即使RNN只能取得和CRF方法类似的效果，但是由于End-to-End的优势，你不需要对研究领域有任何领域知识也能把它干好，因为有用的领域特征DL自己会去学，这个好处是巨大的（但是对于传统依靠NLP经验混饭吃的NLP老手们来说，这是个坏消息），况且目前看RNN在不少领域已经获得了最好的结果。结合这些特点，这就是为何说RNN会取代CRF成为新的主流模型的原因。

 

如果看将来的技术发展趋势，从目前情况看，如果再把Encoder-Decoder框架引进来，加上这篇文章讲的RNN解决序列标注问题，以及后面可能会写的用RNN解决句子分类问题的通用思路，我相信NLP中90%以上的问题都可以被这两个模型覆盖（当然Encoder-Decoder实际上和RNN不是一个层级的模型，这个我们暂且放一边，但且把它们并列来提）。所谓：RNN在手，全都我有，此言诚不我欺也。

 

我觉得还在坚韧不拔地坚持用传统方法搞NLP的同志应该好好读一读我上面这几段话，里面有深意，自己去体会。

 

 

|序列标注问题

 

如上文所述，序列标注问题是NLP中最常见的问题，因为绝大多数NLP问题都可以转化为序列标注问题，虽然很多NLP任务看上去大不相同，但是如果转化为序列标注问题后其实面临的都是同一个问题。所谓“序列标注”，就是说对于一个