java词袋_文本离散表示（一）：词袋模型（bag of words）

一、文本表示

文本表示的意思是把字词处理成向量或矩阵，以便计算机能进行处理。文本表示是自然语言处理的开始环节。

文本表示按照细粒度划分，一般可分为字级别、词语级别和句子级别的文本表示。字级别(char level)的如把“邓紫棋实在太可爱了，我想养一只”这句话拆成一个个的字：｛邓，紫，棋，实，在，太，可，爱，了，我，想，养，一，只｝，然后把每个字用一个向量表示，那么这句话就转化为了由14个向量组成的矩阵。

文本表示分为离散表示和分布式表示。离散表示的代表就是词袋模型，one-hot(也叫独热编码)、TF-IDF、n-gram都可以看作是词袋模型。分布式表示也叫做词嵌入(word embedding)，经典模型是word2vec，还包括后来的Glove、ELMO、GPT和最近很火的BERT。

这篇文章介绍一下文本的离散表示。

二、词袋模型

假如现在有1000篇新闻文档，把这些文档拆成一个个的字，去重后得到3000个字，然后把这3000个字作为字典，进行文本表示的模型，叫做词袋模型。这种模型的特点是字典中的字没有特定的顺序，句子的总体结构也被舍弃了。下面分别介绍词袋模型中的one-hot、TF-IDF和n-gram文本表示方法。

(一)one-hot

看一个简单的例子。有两句话“邓紫棋太可爱了，我爱邓紫棋”，“我要看邓紫棋的演唱会”，把这两句话拆成一个个的字，整理得到14个不重复的字，这14个字决定了在文本表示时向量的长度为14。

下面这个表格的第一行是这两句话