python量化文本内容_文本数据简单向量化

一个文本数据指的是一篇文章，或者一段话，或者一句话。这个文本数据通常称为document，或者text。我们平常的文本都是以人的表达方式展现的，是一个流数据，时间序列数据。我们如果要用计算机对文本数据进行处理，就必须将文本数据表示为计算机能理解的方式。这篇博客就讲解给定一个已经分词、去除停用词后的文本数据集，如何将其向量化的方法。

one-hot表示法

one-hot表示法先将文本数据集中不重复的单词提取出来，得到一个大小为V的词汇表。然后用一个V维的向量来表示一个文章，向量中的第d个维度上的1表示词汇表中的第d个单词出现在这篇文章中。比如给定一个数据集

首先提取出其中的不重复单词(不考虑单词在文本中出现的先后顺序)，得到一个含有7个单词的词汇表：

那么文本数据集就转化为one-hot矩阵：

vocab = sorted(set(words), key=words.index)

def doc2onehot_matrix(vocab, docs):

'''

transform a document to onehot vector

'''

M = len(docs)

V = len(vocab)

onehot = np.zeros((M, V))

for d, doc in enumerate(docs):

for word i