北大《推荐系统》课程-基于内容和知识的推荐-向量空间模型

目录

1、定义

2、词袋模型

3、TF-IDF模型

4、模型改进

5、向量相似度度量

---

注：北大刘宏志老师的《推荐系统》课程学习，图片来源于课程PPT和参考书籍

项目的内容经常是非结构化内容，例如文本、图像、视频。本文介绍文本相似度度量方法---向量空间模型。

1、定义

把文本内容表示为标识符向量的代数模型。将非结构化文本描述数据进行向量化表示，使其具备计算性。

2、词袋模型

 图2.1 词袋模型基本思路

3、TF-IDF模型

因为词袋模型受到常用词影响很大，而文本的词一般服长尾分布。其次忽略了文档长度，一般而言文档长度越长，词出现的次数比短文档更多。而TF-IDF模型考虑常用词和文档长度。TF-IDF模型重点是计算词频TF和逆文档长度IDF。

图3.1 TF-IDF模型计算过程

计算TF使用最大词频数做分母而不用文本长度，因为生僻词的TF的值会过小。计算IDF使用取对数，在保证大小相对关系的情况下，可以缩小IDF的绝对值范围，同时缓解生僻词的IDF的值过小问题。

4、模型改进

缓解文档向量过长且过于稀疏的问题。

• 去停用词，就是不具有区分度的词，例如a, an,the

• 词干还原，使用单词的词干替换词的变体，如went换成go

• 特征选择，选择具有代表性的词对文本进行表示，去掉文本的噪声。例如降维算法

5、向量相似度度量

图5.1 相似度度量