TextCNN文本分类与tensorflow实现

最新推荐文章于 2024-05-14 02:34:55 发布

林ch

最新推荐文章于 2024-05-14 02:34:55 发布

阅读量7.2k

点赞数 7

分类专栏：文本分类

本文链接：https://blog.csdn.net/linchuhai/article/details/86713063

版权

1.引言

我们知道，卷积神经网络（CNN）主要是在计算机视觉方面已经取得了很多很好的成就，但是，CNN在自然语言处理方面同样也可以拥有很好的应用。本文将介绍一个有关CNN的模型，用来对文本进行分类，并将它应用在文本分类的热门任务——情感分析上，模型的名称叫TextCNN，模型的论文地址如下：

论文地址：《Convolutional Neural Networks for Sentence Classification》

下面将对该模型的原理进行具体介绍，并用tensorflow来实现它。

2.TextCNN模型介绍

假设对于每一个句子都进行padding，使得句子的长度都为，对于太长的句子则进行截断，则每个句子可以表示为：

$\mathbf { x } _ { 1 : n } = \mathbf { x } _ { 1 } \oplus \mathbf { x } _ { 2 } \oplus \ldots \oplus \mathbf { x } _ { n }$

其中， $\mathbf { x } _ { i } \in \mathbb { R } ^ { k }$ 表示句子中的第个词汇，其词向量的维度为， $\oplus$ 表示将每个词向量进行拼接， $\mathbf { x } _ { i : i + j }$ 表示词汇串 $\mathbf { x } _ { i } , \mathbf { x } _ { i + 1 } , \dots , \mathbf { x } _ { i + j }$ 的拼接，如图1中左侧所示，这样一来，每个句子都可以表示成一个 $n\times k$ 的二维矩阵。

接着，对于卷积操作，TextCNN的每一个卷积核的宽度都选择与词向量的维度一样大小，而高度则可以是变动的，如卷积核 $\mathbf { w } \in \mathbb { R } ^ { h k }$ ，其高度为，宽度为，该卷积核的每一次卷积操作将对个词汇的词向量进行特征提取，记第步提取后的特征值为 c_i ，则 c_i 的计算公式如下：