DPCNN:深度金字塔 CNN 文本分类网络

DPCNN(Deep Pyramid CNN),是2017年腾讯AI-Lab提出的一种用于文本分类的网络,可以称之为"深度金字塔卷积神经网络"。

论文:Deep Pyramid Convolutional Neural Networks for Text Categorization

在之前的博客 TextCNN:用于文本分类的CNN网络 中讲了TextCNN 捕获长距离文本特征的能力并不理想,在此之后,学术界做了很多尝试来改进此性能;直到 DPCNN 的提出很好地解决了这个问题。

DPCNN是一种基于word-level级别的网络,关于NLP中的tokenizers可以参考 tokenizers小结

DPCNN是如何捕捉长距离文本依赖的呢? 可以从它的网络结构中找到答案:

在这里插入图片描述

DPCNN使用 size=3 和 stride=2 的 MaxPooling 进行下采样,这样序列的长度就被压缩成了原来的一半,其能够感知到的文本片段就比之前长了一倍。 这就是DPCNN具有提取长距离文本特征的能力的原因。

经过几次下采样,特征层的大小不断减半,形成了一个金字塔的形状,因此称为Deep Pyramid。之所以说 Deep 是因为用了ResNet, 2017年时候ResNet刚提出并且是用于CV领域的,因此在NLP领域的使用还算有创新。

与 TextCNN 相同,DPCNN 中用的是 Conv1d,BatchNorm1d 和 MaxPool1d

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ctrl A_ctrl C_ctrl V

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值