信息检索的知识点的整理

 

 

document: 相当于数据块里的一条记录

field: 相当于数据库里的一列

term: 指某个field的词,英文单词一般会转词的原型

tf:term在field内的词频率函数

df:term在全文档集合内的频率函数

idf:term在全文档集合内的逆向频率函数(一般取反再取log)

position info:倒排信息,一般含docid,tf和term在对应field出现的位置,索引存储最占空间的一部分

query

布尔查询

词典:存term的结构,磁盘内一般用排好序的多级跳转表,或者b+树,内存里实现用hash,红黑树或者字典树

正向关系:文档——》包含的所有term

反向关系:term——》包含该term的所有文档

topN:指最符合搜索条件的前N条结果,可以用堆结构获取最高的N条。

查全率

查准率

F测度

 

索引分割的好处

词典的压缩

倒排表的压缩

倒排表的合并策略

Lucene的索引合并

 

BM25相关度打分

VSM相关度打分

词项邻近度打分

 未完待续。。。

转载于:https://www.cnblogs.com/hdflzh/p/4077709.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值