目录
注:北大刘宏志老师的《推荐系统》课程学习,图片来源于课程PPT和参考书籍
项目的内容经常是非结构化内容,例如文本、图像、视频。本文介绍文本相似度度量方法---向量空间模型。
1、定义
把文本内容表示为标识符向量的代数模型。将非结构化文本描述数据进行向量化表示,使其具备计算性。
2、词袋模型
图2.1 词袋模型基本思路
3、TF-IDF模型
因为词袋模型受到常用词影响很大,而文本的词一般服长尾分布。其次忽略了文档长度,一般而言文档长度越长,词出现的次数比短文档更多。而TF-IDF模型考虑常用词和文档长度。TF-IDF模型重点是计算词频TF和逆文档长度IDF。
图3.1 TF-IDF模型计算过程
计算TF使用最大词频数做分母而不用文本长度,因为生僻词的TF的值会过小。计算IDF使用取对数,在保证大小相对关系的情况下,可以缩小IDF的绝对值范围,同时缓解生僻词的IDF的值过小问题。
4、模型改进
缓解文档向量过长且过于稀疏的问题。
-
去停用词,就是不具有区分度的词,例如a, an,the
-
词干还原,使用单词的词干替换词的变体,如went换成go
-
特征选择,选择具有代表性的词对文本进行表示,去掉文本的噪声。例如降维算法
5、向量相似度度量
图5.1 相似度度量