卷积神经网络和Word Embeddings 在中文分词领域的应用

Convolutional Neural Network withWord Embeddings for Chinese Word  Segmentation

近年来，许多基于特征的神经模型已被应用于CWS。虽然已经有很好的表现了，但是都有两大缺点：第一，分词模型很大程度需要依赖人工设计bigram特征，不能自动捕获n-gram特征。第二，分词模型不能最大程度上使用完整的字信息。

基于第一个缺点：论文提出了卷积神经网络，它能在没有任何人工干预的特征工程情况下，捕获丰富的n-gram特征。基于第二个缺点：论文提出了一种将该模型与嵌入词相结合的有效方法。

卷积层

 

卷积这块只用到卷积层（没有池化层），并结合GLU单元 在卷积层中。GLU单元表现力比relu单元强，大家可以参考这篇论文[1

 

公式如下：

 

最把三个卷积层叠加起来，为了避免过拟合， 可以使用dropout

使用三层叠加的卷积层，能够捕获长距离的文本信息。

最后接入CRF，类似于序列标注任务。

试验，模型效果，在公开数据集上，都有很好的表现

 

[1] Language Modeling with Gated Convolutional Networks

 [2] Convolutional Neural Network withWord Embeddings for Chinese Word  Segmentation