pyserini安装&使用

已于 2024-10-24 11:17:49 修改
阅读量676 收藏 15
点赞数 12
分类专栏： IR 文章标签： 信息检索 1024程序员节
于 2024-10-14 21:11:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DreamLike_zzg/article/details/142927681
版权

目录

安装

使用

msmarco-passage bm25

BEIR bm25

anserini教程 

pyserini教程

Doc2Query

自定义数据集

代码

git clone https://github.com/castorini/pyserini.git --recurse-submodules
# pyserini/tools为submodules，https://github.com/castorini/anserini-tools

安装

https://github.com/castorini/pyserini/blob/master/docs/installation.md 
pyserini依赖java环境，可用conda直接安装。安装后，java版本查看命令 "java --version"
如果只是利用开源索引做测试，使用 PyPI Installation即可。
如果自建索引，需要Development Installation。最后一步将fatjar包copy到pyserini/resources/jars/中，fatjar包有两种获取方式，

  1. 在 anserini 项目中编译“mvn clean package”，保存路径为 anserini/target/anserini-X.Y.Z-SNAPSHOT-fatjar.jar。https://github.com/castorini/anserini?tab=readme-ov-file#-installation
  2. 直接下载 https://repo1.maven.org/maven2/io/anserini/anserini/0.38.0/anserini-0.38.0-fatjar.jar。 https://github.com/castorini/anserini/blob/master/docs/fatjar-regressions/fatjar-regressions-v0.38.0.md 

使用

默认下载保存路径  ~/.cache/pyserini/
指定下载保存路径 export PYSERINI_CACHE=/path/to/cache

msmarco-passage bm25

https://github.com/castorini/pyserini/blob/master/docs/experiments-msmarco-passage.md 

下载数据集

mkdir collections/msmarco-passage

wget https://msmarco.z22.web.core.windows.net/msmarcoranking/collectionandqueries.tar.gz -P collections/msmarco-passage

# Alternative mirror:
# wget https://www.dropbox.com/s/9f54jg2f71ray3b/collectionandqueries.tar.gz -P collections/msmarco-passage

tar xvfz collections/msmarco-passage/collectionandqueries.tar.gz -C collections/msmarco-passage

格式转为jsonl

python tools/scripts/msmarco/convert_collection_to_jsonl.py \
 --collection-path collections/msmarco-passage/collection.tsv \
 --output-folder collections/msmarco-passage/collection_jsonl

建立索引

python -m pyserini.index.lucene \
  --collection JsonCollection \
  --input collections/msmarco-passage/collection_jsonl \
  --index indexes/lucene-index-msmarco-passage \
  --generator DefaultLuceneDocumentGenerator \
  --threads 9 \
  --storePositions --storeDocvectors --storeRaw
# index 为索引保存路径

检索

python -m pyserini.search.lucene \
  --index indexes/lucene-index-msmarco-passage \
  --topics msmarco-passage-dev-subset \
  --output runs/run.msmarco-passage.bm25tuned.txt \
  --output-format msmarco \
  --hits 1000 \
  --bm25 --k1 0.82 --b 0.68 \
  --threads 4 --batch-size 16

计算指标

python -m pyserini.eval.msmarco_passage_eval \
   tools/topics-and-qrels/qrels.msmarco-passage.dev-subset.txt \
   runs/run.msmarco-passage.bm25tuned.txt

#####################
MRR @10: 0.18741227770955546
QueriesRanked: 6980
#####################

其他指标计算，需要建立trec格式索引，qrels转为trec格式

https://github.com/castorini/pyserini/blob/master/docs/experiments-msmarco-passage.md#evaluation

BEIR bm25

数据下载

wget https://rgw.cs.uwaterloo.ca/pyserini/data/beir-v1.0.0-corpus.tar -P collections/
tar xvf collections/beir-v1.0.0-corpus.tar -C collections/

anserini教程 

安装 GitHub - castorini/anserini: Anserini is a Lucene toolkit for reproducible information retrieval research
类似pyserini development install，fatjar包copy到anserini/target/目录

运行 anserini/docs/regressions/regressions-beir-v1.0.0-scifact.flat.md at master · castorini/anserini · GitHub

https://github.com/castorini/pyserini/blob/master/pyserini/resources/index-metadata/lucene-inverted.beir-v1.0.0-flat.20221116.505594.README.md

# build index->search->metric pipeline
python src/main/python/run_regression.py --index --verify --search --regression beir-v1.0.0-scifact.flat

# only print command for each step
python src/main/python/run_regression.py --index --verify --search --regression beir-v1.0.0-scifact.flat --dry-run

pyserini教程

# build index
python -m pyserini.index.lucene  \
--collection BeirFlatCollection \
--input collections/beir-v1.0.0/corpus/scifact/ \
--generator DefaultLuceneDocumentGenerator \
--index indexes/lucene-inverted.beir-v1.0.0-scifact.flat/ \
--threads 1 \
--storePositions --storeDocvectors --storeRaw

# search
python -m pyserini.search.lucene \
--index indexes/lucene-inverted.beir-v1.0.0-scifact.flat/ \
--topics tools/topics-and-qrels/topics.beir-v1.0.0-scifact.test.tsv.gz \
--output runs/run.inverted.beir-v1.0.0-scifact.flat.test.bm25 \
--bm25  --hits 1000

# metric
python -m pyserini.eval.trec_eval -c -m ndcg_cut.10 tools/topics-and-qrels/qrels.beir-v1.0.0-scifact.test.txt runs/run.inverted.beir-v1.0.0-scifact.flat.test.bm25
python -m pyserini.eval.trec_eval -c -m recall.100 tools/topics-and-qrels/qrels.beir-v1.0.0-scifact.test.txt runs/run.inverted.beir-v1.0.0-scifact.flat.test.bm25
python -m pyserini.eval.trec_eval -c -m recall.1000 tools/topics-and-qrels/qrels.beir-v1.0.0-scifact.test.txt runs/run.inverted.beir-v1.0.0-scifact.flat.test.bm25

Doc2Query

anserini/docs/experiments-doc2query.md at master · castorini/anserini · GitHub

# download expanded queries, 第i行是collection.tsv中第i个doc的expaned queries
wget https://git.uwaterloo.ca/jimmylin/doc2query-data/raw/master/base/msmarco-passage-pred-test_topk10.tar.gz -P collections/msmarco-passage
tar -xzvf collections/msmarco-passage/msmarco-passage-pred-test_topk10.tar.gz -C collections/msmarco-passage

python tools/scripts/msmarco/augment_collection_with_predictions.py \
 --collection-path collections/msmarco-passage/collection.tsv \
 --output-folder collections/msmarco-passage/collection_jsonl_expanded_topk10 \
 --predictions collections/msmarco-passage/pred-test_topk10.txt --stride 1

python -m pyserini.index.lucene \
 --collection JsonCollection \
 --generator DefaultLuceneDocumentGenerator --threads 9 \
 --input collections/msmarco-passage/collection_jsonl_expanded_topk10 \
 --index indexes/msmarco-passage/lucene-index-msmarco-expanded-topk10 \
 --storePositions --storeDocvectors --storeRaw

python -m pyserini.search.lucene \
  --index indexes/msmarco-passage/lucene-index-msmarco-expanded-topk10 \
  --topics msmarco-passage-dev-subset \
  --output runs/run.msmarco-passage-expanded-topk10.bm25tuned.trec \
  --hits 1000 \
  --bm25 --k1 0.9 --b 0.4 \
  --threads 16 --batch-size 16

python -m pyserini.eval.trec_eval -c -M 10 -m recip_rank msmarco-passage-dev-subset runs/run.msmarco-passage-expanded-topk10.bm25tuned.trec
python -m pyserini.eval.trec_eval -c -m recall.1000 -mmap msmarco-passage-dev-subset runs/run.msmarco-passage-expanded-topk10.bm25tuned.trec

自定义数据集

pyserini/docs/usage-index.md at master · castorini/pyserini · GitHub

DreamLike_zzg
关注
专栏目录
Pyserini安装与使用指南
gitblog_00687的博客
08-10 460
Pyserini安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/py/pyserini Pyserini是一款基于Python的信息检索研究工具包，它支持稀疏和密集表示的可复现性研究。本教程旨在指导您了解Pyserini的基本结构，如何启动项目，以及配置相关知识。 1. 项目目录结构及介绍 Pyserini作为一个GitHub上的开源项目，其目录结构包含了源...
Pyserini安装与配置完全指南
gitblog_07395的博客
09-13 548
Pyserini安装与配置完全指南 pyserini Pyserini is a Python toolkit for reproducible information retrieval research with sparse and dense representations. ...
Pyserini：Python信息检索研究工具包
gitblog_07397的博客
09-13 421
Pyserini：Python信息检索研究工具包 pyserini Pyserini is a Python toolkit for reproducible information retrieval research with sparse and dense representations. ...
探索Pyserini：高效、可复现的信息检索库
gitblog_00098的博客
04-25 736
探索Pyserini：高效、可复现的信息检索库 项目地址:https://gitcode.com/gh_mirrors/py/pyserini 项目简介 是一个由 Anserini 团队开发的开源信息检索库，它基于 Python 实现，并且集成了 Lucene 库的强大功能。Pyserini 的目标是提供简单易用的接口，让研究人员和开发者能够轻松地进行信息检索实验，同时也强调结果的可重复性和可比较...
pyserini 安装
GraceGau的博客
12-05 1222
pyserini安装
pyserini：建立在Lucene上的Anserini IR工具包的Python接口
02-10
Pyserini：Anserini与Python集成 Pyserini通过为 IR工具包提供了一个简单的Python界面。 尝试Pyserini的省力方法是查看我们的，这将使您只需单击几下就可以开始使用。 为了方便起见，我们已经预先构建了一些通用索引，可以从下载。 Pyserini版本采用XYZW约定，其中XYZ跟踪Anserini的版本，而W用于区分Python端的不同版本。 Pyserini的当前稳定版本在PyPI上为 。 当前在TestPyPI上Pyserini的实验发行版落后于当前的稳定发行版（即，不使用）。 通常，文档会与仓库中的最新代码保持同步。 如果您希望使用 ，请从开始。 套件安装 通过PyPI安装： pip install pyserini==0.10.1.0 开发安装 如果您打算仅使用Pyserini，则上面的pip说明很好。 但是，如果您打算为代码库做贡献，
Pyserini
AI + 工程
05-02 1118
关于 Pyserini 安装🎬 如何搜索？🙋 如何给我的语料集建立索引
Pyserini安装失败
最新发布
09-30
Pyserini是一个用于信息检索的开源工具包，它基于Anserini库。如果安装过程中遇到问题，可能是由于多种原因： 1. **依赖缺失**：确保已经安装了所有必要的Python库，如`pip`, `setuptools`, 和`numpy`等。你可以...
pybrain的安装及使用
fengsigaoju的博客
06-19 6511
首先要安装 nose,numpy,scipy,才能安装pybrain 包,同时很多人推荐安装setuptools Python 2.7,方便安装pybrain的包。 安装setup-tools的方法  网址,https://pypi.python.org/pypi/setuptools#downloads,然后进入cmd进入根目录，python setup.py install安装 安
Pyserial库使用心得
qq_40073333的博客
08-17 1244
Pyserial的使用心得Pyserial库的安装Serial对象常用属性常用方法例子小结 Pyserial库的安装 将python版本更新到2.7及以上，或3.4及以上，然后直接使用pip安装： pip install pyserial Serial对象 导入pyserial包后使用serial.Serial创建。 此处因为业务需要，需要同时在windows和linux或macos下访问此应用。 在windows和linux中，端口名称不相同。 在windows下，端口名形如【COMx】（x为整数）；
【LangChain编程：从入门到实践】RAG技术概述
AI天才研究院
08-10 502
【LangChain编程：从入门到实践】RAG技术概述 1. 背景介绍 1.1 大语言模型的发展历程 1.1.1 早期的语言模型
仓库：Python包索引
02-26
仓库 Warehouse是为的软件。 请参阅，和。 入门 您可以使用docker和docker-compose在开发环境中本地运行Warehouse。 有关如何进行设置的说明，请参阅文档。 规范的Warehouse部署正在中进行生产。 讨论 如果您遇到错误，可以将其提交到我们的。 您也可以或加入#pypa （常规包装讨论和用户支持）和#pypa-dev （有关包装工具开发的讨论）聊天频道，以提出问题或参与其中。 测验 阅读我们文档的，以了解如何测试您的代码。 对于跨浏览器测试，我们使用开源帐户。 如果您的拉取请求对用户界面进行了任何更改，则需要对其进行测试以确认它可以在我们正常工作。 行为守则 希望在Warehouse项目的代码库，问题跟踪器，聊天室和邮件列表中进行交互的每个人都遵循。
使用 Pyserini 进行数据检索的入门指南
步子哥的博客
09-04 760
在信息爆炸的时代，如何快速而精准地从海量数据中提取所需的信息，是每一个研究者和开发者所面临的挑战。为此，Pyserini 作为一款强大的信息检索工具，凭借其优雅的设计和灵活的功能，成为了许多数据科学家的首选。本文将带您深入了解如何通过 Pyserini 来优化数据检索，特别是在 DSPy 框架中的应用。
python代码报错汇总
热门推荐
xiaoxiaoyu290的博客
04-30 1万+
下面列出的问题都是自己在实践过程中遇到并解决的，但是只适合解决我当时的问题，放在有些情况下，可能就不适用啦！ 1、pickle.load()读取文件错误 pickle文件比较不稳定，在读取的时候报错 ‘ascii’ codec can’t decode byte 0xb2 in position 2: ordinal not in range(128)。错误来源有很多种，其中一种可能是编码错误，比如下面这种，改变编码方式： import pickle with open("data\\squeeze_net
自己手写BM25算法
厚积薄发的博客
07-31 372
python 实现 BM25 算法 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/7/30 20:50 # @Author : fuGuoWen # @Site : # @File : test06.py # @Software: PyCharm import math class BM25(object): def __init__(self, docs): """
【每日新知识】Anserini
qq_34391511的博客
08-30 985
2020.8.27Anserini 正在研究“DIFFERENTIABLE REASONING OVER A VIRTUAL KNOWLEDGE BASE” from 2020ICLR Anserini Anserini IR：信息检索工具 具体的代码链接：https://github.com/castorini/Anserini python的api参考：https://www.ctolib.com/mip/castorini-pyserini.html 使用到的论文：End-to-EndOpen-Dom
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值