9.3.12 生成推理文件
前面介绍的“inference”目录中的各种大模型推理文件(如 claude.py、gpt4.py),用于与具体的大模型进行交互。每个文件通常封装了对应模型的 API 调用逻辑,使得系统能够生成预测结果。这些文件的主要任务是执行推理,而非评估。
通过本项目可以推理常见的多模态大模型,例如GPT-4、阿里通义千问等,并将推理结果保存为 JSON格式。请看下面的命令,功能是推理GPT-4大模型,并得到推理文件gpt-4o-2024-05-13_detail-high.json。
python inference/gpt4.py --mmvetv2_path /path/to/mm-vet-v2 --model_name gpt-4o-2024-05-13 --image_detail ${image_detail}