文档的向量化表示:BOW假设和VSM模型
文本向量化的目的:便于计算文档时间的相似度
BOW(bag-of-words model):假设可以忽略文档内的单词顺序和语法、句法等要素,将其仅仅看作是若干个词汇的集合。
VSM(Vector space model):即向量空间模型。其是指在BOW假设下,将每个文档表示成同一向量空间的向量。
BOW-VSM栗子
![1](https://s1.ax1x.com/2020/04/07/GcjrCV.png)
停用词(stop words)
**停用词:**非常常见且实际意义有限的词。几乎可能出现在所有场合,因而对某些应用比如信息检索、文本分类等区分度不大
停用词的过滤一般根据实际情况而定
N-gram模型
![2](https://i-blog.csdnimg.cn/blog_migrate/96863a3189c438202bd363665ebe8fd4.png)
文档之间的欧氏距离
![3](https://i-blog.csdnimg.cn/blog_migrate/5914f5b31e983d4dfe78fc3e1eb8f255.png)
文档之间的余弦相似度
![4](https://i-blog.csdnimg.cn/blog_migrate/3f1aa8ca6e51e3c21826beccce5de8bb.png)
Tf-idf词条权重计算
![5](https://i-blog.csdnimg.cn/blog_migrate/94bf89fb42bafe4d3a578ec9f1db1fc4.png)
![6](https://i-blog.csdnimg.cn/blog_migrate/005749a74734b98c58e641934bf3e08f.png)
Tf-idf词条权重计算举例
![7](https://i-blog.csdnimg.cn/blog_migrate/c5d934b9b1aed6f673e8a50e0dcf61ec.png)