自然语言处理（五 文本相似度）

简单共有词判断模型

假设现在有文本A和B，$Num(A\cap B)$ 表示A和B中相同词的数量，$Num(A\cup B)$表示A和B中所有词的数量。那么定义A和B的相似程度为：

$$\begin{equation} Similarity(A,B) = \frac{Num(A\cap B)}{Num(A\cup B)} \end{equation}$$

TFIDF向量表示

上述共有词方式，只利用了词语的信息，却忽略了词频信息，引入TFIDF将词语向量化，既考虑了Term Frequency词频，又考虑了词语在整个文档中的分布情况。文本A和文本B可以分别表示为：

A=[a