miniGPT-4测试过程

小舞O_o

已于 2024-03-06 14:16:47 修改

阅读量1.3k

点赞数 24

分类专栏：模型分享文章标签：深度学习神经网络 pytorch 文心一言视觉检测人工智能机器学习

于 2023-12-04 14:08:13 首次发布

本文链接：https://blog.csdn.net/weixin_45866058/article/details/134780177

版权

本文档详细介绍了MiniGPT-4的本地部署步骤，包括环境安装、权重下载、离线设置及解决遇到的问题。针对GPU资源，提供了配置建议，并给出每个阶段可能出现的错误及解决方案，如修改配置文件、下载文件到本地、更新库等。

摘要由CSDN通过智能技术生成

一、开源地址链接

GitHub - RiseInRose/MiniGPT-4-ZH: MiniGPT-4 中文部署翻译完善部署细节

MiniGPT-4本地部署，纯新手小白踩过的坑 (wolai.com)

GitHub - Vision-CAIR/MiniGPT-4: Open-sourced codes for MiniGPT-4 and MiniGPT-v2

关键安装包链接: https://pytorch.org/get-started/previous-versions/

二、环境安装

系统：ubuntu

硬件：gpu 3090（24G）

安装命令：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

硬件：为了节省GPU内存，Vicuna默认加载为8位，波束搜索宽度为1。这种配置对于Vicuna 13B需要大约23G GPU内存，对于Vicuna7B需要大约11.5G GPU内存。对于更强大的GPU，您可以通过在配置文件minigpt4_eval.yaml中将low_resource设置为False以16位运行模型，并使用更大的波束搜索宽度。