python 文本向量化_Python文本特征抽取与向量化算法学习

本文为大家共享了Python文本特征抽取与向量化的详细代码，供大家参考，详细内容如下

假设我们刚看完诺兰的大片《星际穿越》，设想怎么让机器来自动分析各位观众对电影的评价到底是“赞”(positive)还是“踩”(negative)呢？

这类问题就属于情感分析问题。这类问题处理的第一步，就是将文本转换为特征。

因此，这章我们只学习第一步，怎么从文本中抽取特征，并将其向量化。

由于中文的处理涉及到分词问题，本文用一个简单的例子来介绍怎么使用Python的机器学习库，对英文进行特征提取。

1、数据准备

Python的sklearn.datasets支持从目录读取所有分类好的文本。不过目录必须按照一个文件夹一个标签名的规则放好。比如本文使用的数据集共有2个标签，一个为“net”，一个为“pos”，每个目录下面有6个文本文件。目录如下所示：

neg

1.txt

2.txt

......

pos

1.txt

2.txt

....

12个文件的内容汇总起来如下所示：

neg:

shit.

waste my money.

waste of money.

sb movie.

waste of time.

a shit movie.

pos:

nb! nb movie!

nb!

worth my money.

I love this movie!

a nb movie.

worth it!