自然语言学习——使用word2vec对文本进行情感分析

本文主要讲述了如何对影评数据做情感分析，就是如何判断这条评论是好评还是差评。对文本处理的方法是word2vec，然后用随机森林的方法构建模型，最后训练模型进行预测。前面一、二部分主要是讲述如何处理文档，有点啰嗦可以快速阅读，主要方法从第三部分开始。

一、读取文档

在进行文本情感分析之前，当然需要大量的文本数据，我使用了一些影评数据（labeledTrainData.tsv）作为训练集来完成。内容如下图所示：

该训练集拥有25000条影评数据，图中只显示了五行数据，id可表示评论者，sentiment表示是好评（1）还是差评（0），review则是影评内容。

在读取完文档后，先看看我们所得到的影评数据是一个什么样的内容：以第一条为例（with all this……），如下图所示：

仔细观察会有<br/><br/>这样的网页标签存在，在进行网页爬取影评的时候这样情况肯定会出现，为了得到完好的文本，需要对文本进行一个预处理，如下。

二、文本预处理

1.去掉html标签