Multichannel Variable-Size Convolution for Sentence Classification(阅读理解)


它结合了不同版本的预先训练的词嵌入

使用可变大小的卷积滤波器进行不同粒度的短语特征提取

作者证明了使用预先训练的网络可以达到一个更好的结果


多通道输入

作者将一小批量的句子整合成相同的长度,而对应通道的未知字将被随机初始化,或者从下一节描述的互学习阶段获得良好的初始化,多通道输入的好处是(1)一个频繁的词在开始时可以有多个表示(而不是只有一个),这意味着它有更多可用的信息来利用(2)在一些word embedding版本中漏掉的罕见单词可以由其他版本进行补充,这种初始化可以利用部分已知单词的信息,而不必使用完全随机初始化或删除未知单词。

卷积操作

目标通常是训练一个模型,在这个模型中,不同的内核可以探测到本地区域的不同特征。但是,这种传统的方法不能检测不同粒度区域的特征,作者提出保留多内核的属性,同时将它扩展到同一图层中的不同尺寸的卷积核

池化操作

作者借鉴了其他研究,采用dynamic k-max pooling

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值