ToolBench 开源项目教程
项目介绍
ToolBench 是一个用于评估大型语言模型(LLM)工具操作能力的评估套件。该项目旨在通过收集高质量的指令调整数据集,帮助开源 LLM 掌握数千种不同的现实世界 API。ToolBench 提供了一个高质量的指令调整数据集,以及相应的训练和评估脚本,还有一个在 ToolBench 2024 8 更新上微调的模型 ToolLLaMA。
项目快速启动
安装
首先,克隆 ToolBench 仓库到本地:
git clone https://github.com/sambanova/toolbench.git
cd toolbench
配置环境
创建并激活虚拟环境(可选):
python -m venv venv
source venv/bin/activate # 在 Windows 上使用 `venv\Scripts\activate`
安装所需的依赖包:
pip install -r requirements.txt
运行示例
以下是一个简单的示例,展示如何使用 ToolLLaMA 进行推理:
export PYTHONPATH=.
python toolbench/inference/qa_pipeline.py \
--tool_root_dir data/toolenv/tools/ \
--backbone_model toolllama \
--model_path ToolBench/ToolLLaMA-7b \
--max_observation_length 1024 \
--observ_compress_method truncate \
--method DFS_woFilter_w2 \
--input_query_file data/test_instruction/G1_instruction.json \
--output_answer_file toolllama_dfs_inference_result \
--toolbench_key $TOOLBENCH_KEY
应用案例和最佳实践
案例一:自动化API测试
ToolBench 可以用于自动化测试各种 API 的功能,确保它们按预期工作。通过编写测试脚本,可以快速验证 API 的响应和性能。
案例二:模型微调
使用 ToolBench 提供的训练脚本,可以对预训练的 LLM 进行微调,以更好地适应特定的 API 操作任务。
典型生态项目
BMTools
BMTools 是一个与 ToolBench 紧密集成的项目,提供了丰富的工具和插件,帮助用户更高效地进行 API 操作和模型训练。
WebCPM
WebCPM 是一个基于 ToolBench 的 Web 服务,提供了一个用户友好的界面,用于管理和监控 API 操作任务。
通过以上内容,您可以快速了解并开始使用 ToolBench 开源项目。希望这些信息对您有所帮助!