文本向量化（理论篇）

本文介绍常见的文本表示模型，One-hot、词袋模型（BOW）、TF-IDF、N-Gram和Word2Vec

一、离散表示
1、One-hot编码
2、词袋（BOW）模型
3、TF-IDF
4、N-Gram模型

二、分布式表示
1、共现矩阵
2、Word2Vec模型 

一、离散表示

1、One-hot编码

One-hot编码是非常用的方法，我们可以用One-hot编码的方式将句子向量化，大致步骤为：

• 用构造文本分词后的字典
• 对词语进行One-hot编码

John likes to watch movies. Mary likes too

John also likes to watch football games.

上面的两句话分词后可以构造一个字典，字典内容如下，字典的键是词语，值是ID

{
   "John": 1, "likes": 2, "to": 3, "watch": 4, "movies": 5, "also": 6, "football": 7, "games": 8, "Mary": 9, "too": 10}

我们可以根据ID值对每个词语进行向量化，用0和1代表这个词是否出现

# John
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
# too
[0, 0, 0, 0, 0, 0, 0, 0, 0, 1]

用One-hot编码有明显的缺点：

• 维数过高。我们这里只有短短的2句话，每个词语已经是一个10维的向量了，随着语料的增加，维数会越来越大，导致维数灾难
• 矩阵稀疏。利用One-hot编码的另一个问题就是矩阵稀疏，从上面也可以看到，每一个词向量只有1维是有数值的，其他维上的数值都为0
• 不能保留语义。用这种方式得到的结果不能保留词语在句子中的位置信息， “我爱你” 和 “你爱我” 的向量化结果并没有什么不同。

2、词袋（BOW）模型

词袋模型(Bag-of-words model，BOW)，BOW模型假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立