情感分析是自然语言处理中很常见的任务,它的目的是识别出一段文本潜在的情感,是表扬还是批评,是支持还是反对。比如我们可以使用情感分析去分析社媒的评论,从而得到网友对某件事的看法,进一步分析可以得到舆论的趋势。
情感分析的本质是一个文本分类的任务,在这里我们实现了一个CNN网络对IMDB数据集进行情感分析.
完整代码
本文转自https://blog.csdn.net/u010960155/article/details/104077211
一、IMDB数据集
Large Moive Review Dataset通常指的就是IMDB数据集,这是由斯坦福的研究者收集自网站IMDB。这个数据集其实就是一些对电影的评论,一共包含两类,积极的评论(positive)和消极的评论(negative)。其中训练集和测试集各有25000条数据。
二、CNN情感分析
深度学习在NLP任务中有很广泛的作用,那怎样将CNN应用于情感分析呢?因为情感分析本质就是一个文本分类的任务,在这里我们使用一个经典的用于文本分类的CNN架构,如下图所示。
首先使用一维卷积,所谓一维卷积就是尺寸为window size * embedding dimension的卷积。window size=词的数量,如果window size等于2就是图中红色的filter,每次选取两个词。window size等于3的话就是图中黄色的部分,每次选取三个词。这样卷积的意义就是每次都能获取到一个n-gram特征,这与我们的直觉也是类似的。卷积之后再使用max-1-pooling,也就是选择这句话中最显著的词或词组作为下一层的结果。然后将这些关键词组合起来输入全连接层就可以得到分类结果了。更详细的CNN解释可以看这篇博客。CNN文本分类详解
下面介绍下如何使用Keras实现这个逻辑。
首先载入IMDB数据集,选取词频最高的5000个词作为输入,其他的词都是0。然后再把句子的单词长度固定为500。
# load the dataset but only keep the top n words, zero the rest
top_words = 5000
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=top_words)
# pad dataset to a maximum review length in words
max_words = 500
x_train = sequence.pad_sequences(x_train, maxlen=max_words)
x_test = sequence.pad_sequences(x_test, maxlen=max_words)
接下来创建conv1D + max-pooling的CNN模型。首先初始化一个embedding,为所有词随机生成一个词向量(这里也可以使用预训练的词向量,效果会更好)。然后使用Conv1D进行卷积,其中kernel_size这个参数就是我们前面所说的window size, 这里我们让它等于3,也就是每次取3个词,得到的是tri-gram特征。然后GlobalMaxPooling进行池化,最后使用全连接层得到一个值。这个值就代表属于哪一类的分数。优化的时候使用Adam优化器。
sentence = Input(batch_shape=(None, max_words), dtype='int32', name='sentence')
#初始化一个embedding,为所有词随机生成一个词向量
embedding_layer = Embedding(top_words, embedding_dims, input_length=max_words)
sent_embed = embedding_layer(sentence)
#进行卷积
conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')
sent_conv = conv_layer(sent_embed)
#使用GlobalMaxPooling1D()进行池化
sent_pooling = GlobalMaxPooling1D()(sent_conv)
#全连接层
sent_repre = Dense(250)(sent_pooling)
sent_repre = Activation('relu')(sent_repre)
sent_repre = Dense(1)(sent_repre)
pred = Activation('sigmoid')(sent_repre)
model = Model(inputs=sentence, outputs=pred)
#Adam优化器
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
最后训练模型
# fit the model
model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1,validation_data=(x_test, y_test))
可以看到最终模型在测试集上的准确率为88.64%
25000/25000 [==============================] - 25s 1ms/step - loss: 0.3455 - acc: 0.8420 - val_loss: 0.2775 - val_acc: 0.8815
Epoch 2/2
25000/25000 [==============================] - 24s 973us/step - loss: 0.1603 - acc: 0.9390 - val_loss: 0.2871 - val_acc: 0.8864
Accuracy: 88.64%
三、使用多窗口的CNN
前面使用的windows size=3的卷积,也就是每次取三个词,得到tri-gram特征。那要是觉得只用tri-gram还不够丰富,还想加入bi-gram或者更多类型的n-gram怎么办?那只要把Conv-1D这里改下就好了,代码如下。使用一个循环,假设kernel_size_list = [2,3,4],这代表我们会分别取2个词,3个词,4个词进行卷积,然后将池化的结果进行拼接,最后得到了更加丰富的特征。
# use multi window-size cnn
cnn_result = []
for kernel_size in kernel_size_list:
conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')
sent_conv = conv_layer(sent_embed)
sent_pooling = GlobalMaxPooling1D()(sent_conv)
cnn_result.append(sent_pooling)
cnn_result = concatenate(cnn_result)
也可以看到使用多窗口的卷积最终准确率达到了89.99%,与只使用窗口为3的CNN相比提高了1个多点。
25000/25000 [==============================] - 77s 3ms/step - loss: 0.3345 - acc: 0.8483 - val_loss: 0.2592 - val_acc: 0.8941
Epoch 2/2
25000/25000 [==============================] - 73s 3ms/step - loss: 0.1555 - acc: 0.9409 - val_loss: 0.2462 - val_acc: 0.8999
Accuracy: 89.99%
使用Keras搭积木比tensorflow更加简洁抽象,不过我最后没在机子上运行出结果,原因是数据集太庞大,下载数据集又是龟速。。。(故贴了作者的结果)