文本相似度算法：文本向量化+距离公式

1. 文本向量化

1.1 词袋模型

词袋模型，顾名思义，就是将文本视为一个 “装满词的袋子” ，袋子里的词语是随便摆放的，没有顺序和语义之分。

1.1.1 词袋模型的步骤

• 第一步：构造词典
  根据语料库，把所有的词都提取出来，编上序号
• 第二步：独热编码，D维向量
  记词典大小为D，那么每个文章就是一个D维向量：每个位置上的数字表示对应编号的词在该文章中出现的次数。

1.1.2 词袋模型的缺点

• 只统计词语是否出现或者词频，会被无意义的词汇所影响
  解决：文本预处理（a.去除停用词；b.文字、字母、标点符号统一；c.利用TF-IDF去除不重要的词）
• 无法识别语义层面的信息
  解决：基于深度学习的文本表示（词向量、句向量等）
• 无法关注词语之间的顺序关系
  解决：深度学习

1.2 TF-IDF

TF-IDF是一种统计方法，用以评估某一字词对于语料库中的一篇文章的重要程度。其算法简单快速，结果也比较符合实际情况。

1.2.1 TF-IDF的步骤

• 第一步：统计词频TF
  统计每个词在文本中出现的次数，出现的越频繁，那么就越可能是这个文章的关键词。

 词频TF = 某个词在文章中出现的次