OmAgent 使用教程

OmAgent 使用教程

OmAgent Build multimodal language agents for fast prototype and production 项目地址: https://gitcode.com/gh_mirrors/om/OmAgent

1. 项目介绍

OmAgent 是一个用于构建多模态语言代理的 Python 库，旨在简化代理构建过程。它将复杂的工程细节（如工作流编排、任务队列、节点优化等）隐藏在幕后，提供了一个极其易用的接口来定义你的代理。OmAgent 支持多种模态的交互，包括 VLM 模型、实时 API、计算机视觉模型、移动设备连接等，使得开发者和研究人员能够轻松构建能够处理文本、图像、视频和音频输入的代理。

2. 项目快速启动

环境准备

• Python 版本要求：Python 3.10 或更高版本

安装

首先，安装 omagent_core：

pip install omagent-core

或者，从源代码安装最新版本：

pip install -e omagent-core

配置

• 生成 container.yaml 配置文件：

cd examples/step1_simpleVQA
python compile_container.py

• 配置你的 LLM 设置在 configs/llms/gpt.yml：

  通过环境变量或直接修改 yml 文件来设置你的 OpenAI API 密钥或兼容端点。

  export custom_openai_key="your_openai_api_key"
  export custom_openai_endpoint="your_openai_endpoint"
  

  你也可以使用本地部署的 Ollama 来调用你自己的语言模型。

运行演示

运行简单的 VQA 演示，带网页 GUI：

cd examples/step1_simpleVQA
python run_webpage.py

在浏览器中打开 http://127.0.0.1:7860，你将看到以下界面：

3. 应用案例和最佳实践

视频问答代理

构建一个能够回答上传视频相关问题的视频理解代理。我们提供了一个基于 gradio 的应用程序。

移动个人助理

在两分钟内构建一个类似 Google Astral 的多模态个人助理。

代理操作符

我们定义了可重用的代理工作流，例如 CoT、ReAct 等，作为代理操作符。

4. 典型生态项目

• OmDet: 用于大规模视觉语言多数据集预训练的多模态检测网络。
• 其他相关项目和研究成果可在论文和 GitHub 仓库中找到。

OmAgent Build multimodal language agents for fast prototype and production 项目地址: https://gitcode.com/gh_mirrors/om/OmAgent