信息检索导论——一、布尔检索

Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an information need from within large collections (usually stored on computers).

信息检索是从大规模非结构化数据(通常是文本)的集合(通常保存在计算机上)中找出满足用户信息需求的资料(通常是文档)的过程。

布尔检索:利用AND、OR、NOT等操作符将词项连接起来进行查询。(google高级检索,图书馆、知网等库的高级检索)


正确率(precision):返回的结果中真正和信息需求相关的文档所占的百分比。

召回率(recall):所有和信息需求真正相关的文档中被检索系统返回的百分比。


倒排检索:通过一个信息检索例子来讲述:

在《莎士比亚全集》这本书中想知道其中那些剧本包含Brutus和Caesar但不包含Calpurnia。

最直接的想法是通过线性扫描的方式,这个过程通常称为grepping。这种方式能处理规模不大的文档集,但在很多情况下,这种扫描方式远远不够:

1、大规模文档集条件下的快速查找。(可能需要在几十亿到上万亿单词的数据规模下查找)。

2、更灵活的匹配方式。(比如NEAR操作符的定义可能为“5个词之内”或者“同一个句子中”)。

3、需要对结果进行排序。

所以:建立索引,得到如下 词项-文档关联矩阵



所以关联矩阵得到的布尔结果就是110100AND110111AND101111=100100,所以就得到第一个和第四个剧本。

而上面关联列表如果处理更大的数据则会有巨大的数据稀疏性,所以采用如下方式进行记录:


上图成为倒排索引,左边部分为词项词典(常存在内存中),右边部分为倒排记录表,记录出现左侧词项的文章的ID号(常存在磁盘中)。


建立倒排索引的方式:


当得到倒排索引表后,求AND就变成了求两个倒排记录表的交集。


值得注意的是,多个词项的并集操作应该从记录表长度短的先开始。


正确率(precision):返回的结果中真正和信息需求相关的文档所占的百分比。

召回率(recall):所有和信息需求真正相关的文档中被检索系统返回的百分比。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值