利用CNN来做NLP(textcnn)

10 篇文章 1 订阅

讲到nlp,我们常用的都是lstm/gru。
举个例子,因为我们总会说,因为句子经过embdding后,句子为一个三维张量,假设为:(None,20,300)。其中20为timestep,也就是一个句子的单词个数,300为embdding维度。为了更深的理解句子,剖析句子语意,我们假设接上一层lstm(num_units=128,return_sequence=True),那么输出的张量就为(None,20,128)。你会发现句子的embedding维度变了,我们可以说经过lstm后,我们用一种更高级的方式表示出了单词的维度,不再是300,而是128了。也就是句子变了。我们往往会接上两层这样的lstm,之后再接一些池化层、全连接层等等,一个基本的nlp分类网络就形成了~

那么如果我告诉你CNN同样可以改变句子的维度,就像lstm那样变成一个新的句子,且新句子更容易被网络理解,而且提供了n-gram的信息。是不是很神奇?

等一下。n-gram?他不是tfidf那边的东西吗?(如果不明白n-gram,请先自行百度)我们为了结合单词间的关系,我们把连续的2个词,3个词…称为一个term。在神经网络也可以完成这样的转换?是的,这就是textcnn。

OK。textcnn我不想讲太多,我建议直接看下面这篇博文,我自己写也写不了这么多,这么好。但是看完后,我会加一些自己的东西。

链接:[NLP] TextCNN模型原理和实现

看完之后我想你一定有一些体会,但是肯定还会有一些疑问。我想你的疑问不外乎这些:
1.我想知道textcnn每一步之后的输出张量的形状,这样我方便知道每一层发生了什么,显然上面的链接没有给你很直观的体验。
2.我想知道为什么用Maxpooling不用平均池化?
3.我想知道为什么要用池化。。。
4。卷积和池化和我以前在cv里看到的不一样。。看不懂。。

1,4我将用一段代码来解释。2,3在后面我将将一些自己的理解。
下面是一个简短的textecnn的代码:

    xconv1 = Convolution1D(filters=50,
                        kernel_size=1,
                        padding='same',
                        activation='relu')(x)
    
    xconv2 = Convolution1D(filters=50,
                        kernel_size=2,
                        padding='same',
                        activation='relu')(x)

到这里我们停一下,我们设x形状:(None,20,300)
请你回答我的xonv1,xonv2的形状?我如果padding='valid’呢?形状变不变?
首先第一个问题啊,2个输出都是(None,20,50)。首先解释一下:
Convolution1D,确实有两个方向可以做卷积,比如嘛,对于conv1,这里不是(20,300)的矩阵吗,我显然做一维卷积,我的单个卷积核可以是(20,1)或者(300,1),一个实现的是词方向的卷积,一个实现的是embedding方向的卷积。但是明显,,,我们是要词方向的啊。所以卷积核形状一定是(300,1)。这样的话,每一个卷积核都会产生一个20维向量,50个自然是(20,50)了~
补充:对于conv2,卷积核形状:(300,2)
第二个问题,我其实是为例迎合这个图:
在这里插入图片描述
这个图经过卷积后,每一个卷积核生成的向量怎么长度不一?如果你pad的话,肯定是一样的,你不pad,也就是padding=‘valid’。那么不填充自然就维度不一了。

接下来为了不乱,我们只对conv1池化:

xconv1 = GlobalMaxPooling1D()(xconv1)

已知池化前形状:(None,20,50)输出形状是啥?
直接说了哦,是(None,1,50)
也就是(None,50).。
为什么不是(None,20)?
我只说一句话你就懂了。
GlobalMaxPooling1D是对整个feature_map上取最大值。(定义使然)feature_map不就是20维的向量吗,我们再找最大值,20–》1,不自然而然的变成了(None,1,50)了吗。
应该明白了吧。

对于问题3。我简单说一下:因为20,也就是time_step,是你pad sentence后补齐、截取得到的,取平均的话里面可能有很多补的0.因为这个和我们textcnn关系不大,我简单说一下,如不懂请留言。

问题4:
https://www.cnblogs.com/ymjyqsx/p/6485924.html

最后附上膨胀卷积的处理方式,它考虑了跳过一些单位之间词的关系。

    xconv3 = Convolution1D(filters=50,
                        kernel_size=4,dilation_rate=2,
                        padding='same',
                        activation='relu')(x)

关于空洞卷积/膨胀卷积:
https://www.zhihu.com/question/54149221

最后论文链接:
https://arxiv.org/pdf/1408.5882.pdf

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值