《现代信息检索》第三章 信息检索建模

第三章 信息检索建模

3.1.2 信息检索模型描述

一个信息检索模型是一个四元组[D, Q, F, R(qi, dj)]:

1. D：是文档集中文档的逻辑视图的集合。
2. Q：是用户信息需求的逻辑视图组成的集合。这些表达称为查询。
3. F：是一个对文档、查询及其关系建模的框架，例如，集合与布尔关系、向量和线性代数运算、样本空间与概率分布。
4. R(qi, dj)：是排序函数，对查询表达式qi属于Q和文档表达式dj属于D赋予一个实数。排序函数定义了关于查询qi的文档次序。

3.1.3 信息检索模型的分类

信息检索模型分类：基于文本、基于链接和基于多媒体对象的模型。

无结构文本经典模型：布尔模型、向量模型、概率模型。

3.2 经典信息检索

3.2.1 基本概念

• 索引项或者关键词

索引项或者关键字：指的是表示文档中的关键概念或者主题的一个词或者一组词。

t表示文档集中索引项的数量，ki是某个索引项。V=(k1, k2, …, kt)V是文档集中所有不同索引的集合。V是文档集的词汇表，词汇表的大小是t。

• 文档和查询的表示形式

索引共现模式，一个文档集中索引共现模式有2^t。例如[1, 0, …, 0]或者[1, 1, …, 1]一共2^t个，每个索引项共现模式称为一个索引项合取分量。

词袋法（bag of words）：就是用索引项的合取分量对查询和文档进行表示。

• 项-文档矩阵

	d1	d2
k1	f1,1	f1,2
k2	f2,1	f2,2
k3	f3,1	f3,2

ki表示的是索引项，dj表示文档，fi,j表示ki在文档dj中出现的频率。

• 文档的逻辑视图

3.2.2 布尔模型

布尔模型(Boolean Model)是一个基于集合论和布尔代数的简单模型。

布尔模型根据索引项合取向量进行判断，使用非(not)，与(and)，或(or)。

即使当文档集的词汇表包含不在查询中的词，这种方法也是可以的。

布尔模型判定每篇文档要么相关，要么不相关，不存在部分相关。

3.2.3 项权重

• 文档集两个索引项的相关性

设M=[mi,j]是一个t行N列的项-文档矩阵，其中mi,j=wi,j，即矩阵中的每一元素ij由项-文档二元组(ki, dj)的权重给出。给定M^{t是矩阵M的转置，矩阵C=M·M}t是一个项间相关性矩阵。每一元素cu,v属于C表达了索引项ku和kv之间的关系。

TF-IDF权重

TF项频(Term Frequency, TF) 反比文档频率(Inverse Document Frequency, IDF)

• TF

tf_{i,j} = f_{i,j}

tf_{i,j} = 1 + logf_{i,j}——f_{i,j}>0

tf_{i,j} = 0——others

• IDF

穷尽性和特异性

IDF = log(N/n_i)

• 文档长度归一化

这里没怎么搞懂。
后面会继续写