ToolBench 开源项目教程

ToolBench 开源项目教程

ToolBenchAn open platform for training, serving, and evaluating large language model for tool learning.项目地址:https://gitcode.com/gh_mirrors/to/ToolBench

1. 项目目录结构及介绍

在OpenBMB/ToolBench项目中，目录结构通常如下：

.
├── data            # 存放数据集和其他输入数据
│   ├── toolenv     # 工具环境相关的数据
│   └── retrieval   # 检索相关数据
├── toolbench        # 核心代码库
│   ├── inference    # 推理相关代码
│   └── server       # 后端服务器相关代码
└── chatbot-ui-toolllama  # 前端Web界面代码
    ├── src          # 前端应用源码
    └── static       # 静态资源文件

• data: 包含用于模型训练和推理的数据以及工具环境的配置。
• toolbench: 提供了核心的推理和服务器实现，以评估和利用工具模型的能力。
• chatbot-ui-toolllama: 提供了一个基于前端聊天界面，允许用户与工具模型交互。

2. 项目启动文件介绍

2.1 推理脚本

toolbench/inference/qa_pipeline.py 是主要的推理入口点。它支持不同的模型，如 ToolLLaMA 及其变体进行问答任务处理。要运行推理，你需要设置一些环境变量，如 TOOLBENCH_KEY 并指定输入查询文件和模型路径。

2.2 后端服务器

toolbench/inference/toolbench_server.py 是用于启动后端服务的脚本。这个服务对接前端UI并处理用户的请求，需要提供工具根目录、检索模型路径等配置项。

2.3 前端应用

对于Web界面，可以使用以下命令启动开发服务器：

cd chatbot-ui-toolllama
npm install
npm run dev

这将在本地的 http://localhost:3000/ 上运行应用。

3. 项目的配置文件介绍

项目没有提供传统的单个配置文件，但许多配置选项通过命令行参数传递给执行脚本。例如，以下是一些常用的参数：

• --tool_root_dir：指向工具环境数据的目录。
• --backbone_model：指定基础模型名称（如 toolllama）。
• --model_path：模型权重的路径。
• --lora 和 --lora_path（可选）：启用 LoRA 算法并指定 LoRA 权重的路径。
• --corpus_tsv_path：用于开放域检索的数据路径。
• --retrieval_model_path：检索模型的路径。
• --TOOLBENCH_KEY：用于验证的 ToolBench 密钥。

这些参数可以通过运行脚本时添加相应的标志来调整，以适应不同场景的需求。

请确保正确地安装所有依赖，并根据项目的README或示例命令来调整这些参数以满足你的具体需求。如有任何疑问或遇到问题，可以查阅项目文档或向项目贡献者寻求帮助。

ToolBenchAn open platform for training, serving, and evaluating large language model for tool learning.项目地址:https://gitcode.com/gh_mirrors/to/ToolBench