利用sklearn进行豆瓣电影评论的文本分类

    在之前，我已经在豆瓣电影top250中爬取了约6w条好评和差评，在此我们来利用这些数据，进行入门级别的文本分类。

一 数据清洗

    数据在豆瓣电影top250提供下载，下载后能看到6W条好评和差评，由于爬取时未能完全清除符号，导致一部分毫无意义的颜文字评论混入其中，为了清除这些数据，我在（仅当数据量较小的情况下）excel中替换掉了肉眼可见的一些符号，然后转换成xlsx格式（csv中出现中文时bug太多，在此放弃使用csv格式）。如果数据量较大时，请使用正则表达式进行数据清洗。

二 数据的读取与分词

    在此提供清洗完毕的数据下载，您可以下载后自行尝试。

    使用xlrd库进行xlsx文件的读取，读取完毕后使用jieba分词工具进行分词。

import numpy as np
impor