OmniSearch：阿里巴巴通义推出的多模态检索增强生成框架

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

功能：OmniSearch 能够动态拆解复杂问题，根据检索结果和问题情境调整检索策略。
技术：引入动态检索规划框架，基于递归检索与推理流程逐步接近问题解答。
资源：提供了 GitHub 仓库和在线体验 Demo，方便用户深入了解和使用。

正文（附运行示例）

OmniSearch 是什么

OmniSearch 是阿里巴巴通义实验室推出的一款多模态检索增强生成框架，具备自适应规划能力。OmniSearch 能够动态拆解复杂问题，根据检索结果和问题情境调整检索策略，模拟人类在解决复杂问题时的行为方式，从而提升检索效率和准确性。OmniSearch 通过引入动态检索规划框架，基于递归检索与推理流程，逐步接近问题解答，显著提高了多模态检索的灵活性和效果。

OmniSearch 的核心创新在于其自适应检索规划能力。它能够根据问题解决的阶段和当前检索内容实时规划每个检索动作，模拟人类在解决复杂问题时的行为方式。这种动态的检索规划不仅提升了检索的效率和准确性，还使得 OmniSearch 在处理多模态信息时更加灵活和高效。

如何运行 OmniSearch

安装依赖

首先，安装所需的依赖项：

pip install -r requirements.txt

配置 API 密钥

在运行 OmniSearch 之前，请替换main.py中的 OPENAI API 密钥和search_api.py中的 Google Search API 密钥：

# main.py
GPT_API_KEY = "your_actual_key_here"
headers = {
    "Authorization": f"Bearer {GPT_API_KEY}"
}

# search_api.py
API_KEY = "your api-key"

运行主程序

运行main.py文件：

python main.py --test_dataset 'path/to/dataset.jsonl' --dataset_name NAME --meta_save_path 'path/to/results'

输出结果将保存到指定路径。

评估

使用以下命令评估输出答案的 token F1-Recall：

python evaluate.py --evaluate_file_path [path to output jsonl file] --lang [language of the QA dataset: en/zh]

资源

• 项目官网：https://modelscope.cn/studios/iic/OmniSearch/summary
• GitHub 仓库：https://github.com/Alibaba-NLP/OmniSearch
• arXiv 技术论文：https://arxiv.org/pdf/2411.02937
• 在线体验 Demo：https://modelscope.cn/studios/iic/OmniSearch/summary

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦