一文看懂深度文本分类之 DPCNN 原理与代码

640?wx_fmt=gif

01

导读

ACL2017 年中,腾讯 AI-lab 提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。

论文中提出了一种基于 word-level 级别的网络-DPCNN,由于 TextCNN 不能通过卷积获得文本的长距离依赖关系,而论文中 DPCNN 通过不断加深网络,可以抽取长距离的文本依赖关系。

实验证明在不增加太多计算成本的情况下,增加网络深度就可以获得最佳的准确率。‍

02

DPCNN 结构

究竟是多么牛逼的网络呢?我们下面来窥探一下模型的芳容。

640?

03

DPCNN 结构细节

模型是如何通过加深网络来捕捉文本的长距离依赖关系的呢?下面我们来一一道来。为了更加简单的解释 DPCNN,这里我先不解释是什么是 Region embedding,我们先把它当作 word embedding。

等长卷积

首先交代一下卷积的的一个基本概念。一般常用的卷积有以下三类:

假设输入的序列长度为n,卷积核大小为m,步长(stride)为s,输入序列两端各填补p个零(zero padding),那么该卷积层的输出序列为(n-m+2p)/s+1。

(1) 窄卷积(narrow convolution): 步长s=1,两端不补零,即p=0,卷积后输出长度为n-m+1。

(2) 宽卷积(wide onvolution) :步长s=1,两端补零p=m-1,卷积后输出长度 n+m-1。

(3) 等长卷积(equal-width convolution): 步长s=1,两端补零p=(m-1)/2,卷积后输出长度为n。如下图所示,左右两端同时补零p=1,s=3。

池化

那么DPCNN是如何捕捉长距离依赖的呢?这里我直接引用文章的小标题——Downsampling with the number of feature maps fixed。

作者选择了适当的两层等长卷积来提高词位 embedding 的表示的丰富性。然后接下来就开始 Downsampling (池化)。

再每一个卷积块(两层的等长卷积)后,使用一个 size=3 和 stride=2 进行 maxpooling 进行池化。序列的长度就被压缩成了原来的一半。其能够感知到的文本片段就比之前长了一倍

例如之前是只能感知3个词位长度的信息,经过1/2池化层后就能感知6个词位长度的信息啦,这时把 1/2 池化层和 size=3 的卷积层组合起来如图所示。

640?

固定 feature maps(filters) 的数量

为什么要固定 feature maps 的数量呢?许多模型每当执行池化操作时,增加 feature maps 的数量,导致总计算复杂度是深度的函数。与此相反,作者对 feature map 的数量进行了修正,他们实验发现增加 feature map 的数量只会大大增加计算时间,而没有提高精度。

另外,夕小瑶小姐姐在知乎也详细的解释了为什么要固定 feature maps 的数量。有兴趣的可以去知乎搜一搜,讲的非常透彻。

固定了 feature map 的数量,每当使用一个 size=3 和 stride=2 进行 maxpooling 进行池化时,每个卷积层的计算时间减半(数据大小减半),从而形成一个金字塔。

640?

这就是论文题目所谓的 Pyramid

好啦,看似问题都解决了,目标成功达成。剩下的我们就只需要重复的进行等长卷积+等长卷积+使用一个 size=3 和 stride=2 进行 maxpooling 进行池化就可以啦,DPCNN就可以捕捉文本的长距离依赖啦!

Shortcut connections with pre-activation

但是!如果问题真的这么简单的话,深度学习就一下子少了超级多的难点了。

(1) 初始化CNN的时,往往各层权重都初始化为很小的值,这导致了最开始的网络中,后续几乎每层的输入都是接近0,这时的网络输出没有意义;

(2) 小权重阻碍了梯度的传播,使得网络的初始训练阶段往往要迭代好久才能启动;

(3) 就算网络启动完成,由于深度网络中仿射矩阵(每两层间的连接边)近似连乘,训练过程中网络也非常容易发生梯度爆炸或弥散问题。

当然,上述这几点问题本质就是梯度弥散问题。那么如何解决深度 CNN 网络的梯度弥散问题呢?当然是膜一下何恺明大神,然后把 ResNet 的精华拿来用啦! ResNet 中提出的shortcut-connection/ skip-connection/ residual-connection(残差连接)就是一种非常简单、合理、有效的解决方案。

类似地,为了使深度网络的训练成为可能,作者为了恒等映射,所以使用加法进行shortcut connections,即 z+f(z),其中 f 用的是两层的等长卷积。这样就可以极大的缓解了梯度消失问题。

另外,作者也使用了 pre-activation,这个最初在何凯明的 “Identity Mappings in Deep Residual Networks 上提及,有兴趣的大家可以看看这个的原理。

直观上,这种“线性”简化了深度网络的训练,类似于 LSTM 中 constant error carousels 的作用。而且实验证明  pre-activation 优于 post-activation。

整体来说,巧妙的结构设计,使得这个模型不需要为了维度匹配问题而担忧。

Region embedding

同时 DPCNN 的底层貌似保持了跟 TextCNN 一样的结构,这里作者将 TextCNN 的包含多尺寸卷积滤波器的卷积层的卷积结果称之为 Region embedding,意思就是对一个文本区域/片段(比如3gram)进行一组卷积操作后生成的embedding。

另外,作者为了进一步提高性能,还使用了tv-embedding (two-views embedding)进一步提高 DPCNN 的 accuracy

上述介绍了 DPCNN 的整体架构,可见 DPCNN 的架构之精美。本文是在原始论文以及知乎上的一篇文章的基础上进行整理。

本文可能也会有很多错误,如果有错误,欢迎大家指出来!建议大家为了更好的理解 DPCNN ,看一下原始论文和参考里面的知乎。

04

用 Keras 实现 DPCNN 网络

这里参考了一下 kaggle 的代码,模型一共用了七层,模型的参数与论文不太相同。这里滤波器通道个数为64(论文中为256),具体的参数可以参考下面的代码,部分我写了注释。

640?wx_fmt=png

05

DPCNN 实战

上面我们用 keras 实现了我们的 DPCNN 网络,这里我们借助 kaggle 的有毒评论文本分类竞赛来实战下我们的 DPCNN 网络。

具体地代码,大家可以去我 的GitHub 上面找到源码: 

https://github.com/hecongqing/TextClassification/blob/master/DPCNN.ipynb

参考

https://ai.tencent.com/ailab/media/publications/ACL3-Brady.pdf

https://zhuanlan.zhihu.com/p/35457093

https://www.kaggle.com/michaelsnell/conv1d-dpcnn-in-keras

作者:何从庆,湖南大学计算机硕士,主要研究方向: 机器学习与法律智能。 

Github 主页:

https://github.com/hecongqing 

微信公众号: AI算法之心

640?wx_fmt=png


人工智能头条

欢迎 AI 作者投稿

640?wx_fmt=gif

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页