pyndri安装及使用

0. indri安装以及pyindri安装

indri安装

Indri：安装

pyndri安装

pyndri：安装

1. 构建索引的参数

新建一个manifest.json文件

<parameters>
<index>Dataset/Robust2004/robust2004_idx（索引地址）</index>
<corpus>
<path>Dataset/Robust2004/Corpus (文档地址)</path>
<class>trectext（文件格式）</class>
</corpus>
<field>
<name>DOCNO（文档编号）</name> 
</field>
<field>
<name>TEXT（文档内容）</name>
</field>
</parameters>

2. 建立索引

$ IndriBuildIndex mainfest.json 

3. 使用

根据某个query，找到排名靠前的10篇文档

import operator
import pyndri
import sys
index_path='../../Dataset/Robust2004/robust2004_idx'
with pyndri.open(index_path) as index:
    results = index.query('hello world', results_requested=10)
    # print(results)
    for int_document_id, score in results:
        ext_document_id, document_terms = index.document(int_document_id)
        # print(ext_document_id)
        # print(document_terms)
        print('Document {ext_document_id} retrieved with score {score}.'.format(
        ext_document_id=ext_document_id, score=score))
>>>
Document LA081890-0076 retrieved with score -6.731433614635001.
Document LA102090-0133 retrieved with score -6.734136943420365.
Document FT942-1058 retrieved with score -6.904603734669878.
Document FBIS4-19258 retrieved with score -6.948269332125547.
Document LA093089-0055 retrieved with score -6.969842877219223.

print(results) 
>>> 
((485281, -6.731433614635001), 
 (234645, -6.734136943420365), 
 (96799, -6.904603734669878), 
 (478636, -6.948269332125547), 
 (285324, -6.969842877219223))

results中的5个元组分别对应检索返回的5篇文档
每个元组的第一个元素代表的是文档id，第二个元素代表的是得分，得分是负的，是因为这个分数是取了log之后的结果

ext_document_id, document_terms = index.document(int_document_id)
print(ext_document_id)  # 文档真正的编号
>>>
LA081890-0076
print(document_terms)  # 文档中的词，词的id
>>>
(519720, 14369, 673, 318, 202, 725, 4711, 197,...,2, 480, 2, 1, 8696)

计算某个query和指定文档之间的分数

import operator
import pyndri
import sys

index_path='../../Dataset/Robust2004/robust2004_idx'
with pyndri.open(index_path) as index:
    # 单个query与指定文档之间的分数
    results = index.query(
        'hello world',
        document_set=map(
            operator.itemgetter(1),
            index.document_ids(['LA081890-0076', 'LA102090-0133'])))

    # print(results)
    for int_document_id, score in results:
        ext_document_id, _ = index.document(int_document_id)
        print('Document {ext_document_id}  '
              'retrieved with score {score}.'.format(
                  ext_document_id=ext_document_id,
                  score=score))
               
>>>
Document LA081890-0076  retrieved with score -6.731433614635001.
Document LA102090-0133  retrieved with score -6.734136943420365.

>>> print(result)
((485281, -6.731433614635001), (234645, -6.734136943420365))

index.document_ids(['LA081890-0076', 'LA102090-0133'])返回的是2个元组，每个元组的第一个元素是文档编号，第二个元素是文档id
operator.itemgetter(1)代表的是取出第一维的数据，也就是文档编号

>>> index.document_ids(['LA081890-0076', 'LA102090-0133'])
(('LA081890-0076', 485281), ('LA102090-0133', 234645))

参考：
indri资源
pyndri
Python中的sorted函数以及operator.itemgetter函数